En total, Xavier Cugat es va casar fins a cinc ocasions. La primera esposa va ser Rita Montaner, del 1918 al 1920; la segona va ser Carmen Castilla, matrimoni que va durar de 1929 a 1946. La tercera esposa va ser Lorraine Allen, de 1947 al 28 d’abril de 1952. Una de les seves esposes més famosa va ser la cantant Abbe Lane, amb qui va contreure matrimoni el 1952 i amb qui va actuar fins al seu divorci el 1963. El 7 d’agost de 1966 es va casar amb la cantant, guitarrista i ballarina de salsa Charo Baeza, que es va convertir en la seva cinquena esposa; la parella va ser la primera a casar-se al casino Caesar’s Palace de Las Vegas.