W latach 80. spotykał się z gwiazdą pornol Christy Canyon. Był żonaty z byłą tancerką dodatkowo producentką Valerie Velardi (od 4 czerwca 1978 do 1988), z którą ma syna Zachary'ego (ur. 1983). W latach 1984-86 związany był z kelnerką koktajlu Michelle Tish Carter. W dniu 30 kwietnia 1989 roku poślubił Marshę Garces (ur. 1957), swoją osobistą astystentkę. Mają córkę Zeldę (ur. 31 lipca 1989) dodatkowo syna Cody'ego (ur. 25 listopada 1991).
Williams cierpi na depresję dwubiegunową.