愛因斯坦一生有兩個私生女，第一個是米列娃與愛因斯坦熱戀時未婚先孕產下的，有精神殘疾，沒有任何證據顯示愛因斯坦一生曾見過這個女兒一面。另一個是愛因斯坦1933年正式移民美國後，與一名紐約舞女所生，愛因斯坦也從來沒有管過，後來是愛因斯坦的兒子一直秘密接濟那位同父異母的妹妹。愛因斯坦還曾和一名叫瑪加麗達·科涅庫娃的美女如膠似漆，給她寫過很多火辣的情書。但是後來證明，瑪加麗達是蘇聯派來的女間諜，目的是刺探美國製造原子彈的情報（可惜愛因斯坦沒有利用價值，後文會提到）。
愛因斯坦的兩次婚姻最終都失敗了，他在1955年逝世前，都是由養女和女秘書照料
