1899年，江蘇宜興一戶名門望族蔣家誕生一名女嬰，正巧書房一棵海棠盛放，祖父為其取名棠珍，字書楣，這就是徐悲鴻生命中的第一個女人。
蔣棠珍曾自述：“我第一次見到徐悲鴻先生，是在宜興家裡。那時徐先生在初級師範教授圖畫，和我的伯父姐夫都是同事，只聽到大家都在說他的名字取得怪，以及許多有關他的軼聞軼事……天一亮由城裡步行三十里趕去上課，中途過家門而不入……總之，他被看作與眾不同的特殊人物。”
因此，蔣棠珍曾趁著徐悲鴻來家中做客與其伯父交談時，藉故走過去看了一眼，結果是“並沒有深刻的印象”。然而所謂緣分是很捉摸不定的東西，總能讓人在不經意之時遇到一個稱心如意的人，哪怕你之前對他並不在意。
徐悲鴻為討生活來到上海，幾經沉浮進入哈同花園，而蔣棠珍也來到了上海，那一年她才十八歲。此時二人已有見面，但是從未單獨在一起過，只是徐悲鴻來拜訪的時候瞥上幾眼。蔣棠珍的父親非常欣賞徐悲鴻，認為他才貌雙全，人才難得，常常感嘆：“要是再有一個女兒就好了。”此時，蔣棠珍的姐姐已經出嫁，蔣棠珍也與查家有婚約在身，所以才會有這樣的感嘆。也由此可見，蔣棠珍的父親早已對這個貧寒卻才華橫溢的年輕人另眼相看了。
此時的蔣棠珍已經開始注意徐悲鴻了，也開始費盡心思裝作不經意地打探徐悲鴻的訊息。徐悲鴻這段時間住在了蔣棠珍的家中，因為她的父親珍惜這個人才，感念徐悲鴻在上海無親無故，只要他沒有課就叫徐悲鴻去他家裡。徐悲鴻也因此開始注意這個年輕漂亮的女子，然而兩個人仍是沒有過多的溝通。
隨後，兩個人的關係一下子峰迴路轉。據蔣棠珍後來回憶：“有一天，朱了洲先生（蔣家親戚，引薦徐悲鴻見了蔣棠珍的父親）到我家來，父親和母親都不在，他突如其來地問我：‘假如現在有一個人，想帶你到外國，你去不去？’”蔣棠珍當即在腦海裡浮現出徐悲鴻的影子，心中吶喊道：“去啊，為什麼不去？”朱了洲看出了蔣棠珍的心思，告訴她那個人正是徐悲鴻，想要帶她一起去法國留學，並要蔣棠珍嚴格保密。
蔣棠珍正要逃避封建婚姻，又早已對徐悲鴻芳心暗許，於是脫口而出：“我去！”此事便定了下來，浪漫的徐悲鴻為蔣棠珍取了一個名字：蔣碧微。又刻了一對水晶戒指，一隻刻上“悲鴻”，一隻刻上“碧微”，他把帶“碧微”的戒指整日戴在手上，有人問他就笑說：“這是我未來太太的名字。”再問徐悲鴻就笑而不語。
徐悲鴻在康有為的幫助下開始籌備私奔事宜，他先跟所有朋友宣稱自己準備到法國留學，實際暗地裡卻為蔣碧微辦理出國手續，購買必需品，一切準備妥當後，給蔣碧微發出秘密通知，告訴她第二天到愛多亞路長髮棧去找他。朱了洲也來幫忙，故意前來邀請蔣碧微的父母出去吃飯，吃完飯又去聽戲。時天色變晚，蔣碧微將一封信放在母親的抽屜裡，來到了約定的地點。
蔣碧微自述：“到了長髮棧，徐先生已經等候得很著急了，一見到我如約而至，不禁大喜過望。那一夜，我戴上了那隻刻著‘碧微’兩字的水晶戒指，從此我的名字也改成了碧微。”黎明之際，兩個人登上了赴日本長崎的“博愛丸”號，共奔幸福旅程。
康有為則來勸導蔣碧微的父親，再加上蔣碧微的父親也很喜歡徐悲鴻，同意了兩個人的事情後，又願意為女兒逃婚“做掩護”。他買來一口棺材，裝上石頭，並在《申報》上刊登愛女病逝的“訃告”，查家見狀，只好找其他正當年紀的女子做兒媳去了。
徐悲鴻與蔣碧微度過了一段如膠似漆的蜜月生活，然而隨著時間的推移，兩個人之間的差距開始逐漸顯露出來，不但性情不合，生活態度也迥異，兩個人的性格都很要強，徐悲鴻又醉心藝術，生活也是顛沛流離，時常要疲於奔波，為了藝術少了對妻子的關懷與體貼。據說，徐悲鴻給幾個南洋富翁畫肖像賺得幾萬塊錢，當時他們夫妻倆的生活極為艱苦，有了這幾萬塊錢，徐悲鴻卻全部買了繪畫作品，蔣碧微為此與徐悲鴻大吵了一架。多年之後，蔣碧微還在回憶錄裡說：“我從十八歲跟他浪跡天涯海角，二十多年的時間裡，不但不曾得到他一點照顧，反而受到無窮的痛苦和厄難……”
在歐洲留學時，蔣碧微心中不快，張道藩出現了，他對蔣碧微一見鍾情，開始不斷給蔣碧微寫信，信中充滿了男性的關懷與溫存。這個時候的蔣碧微還在猶豫不決，她寫了一封長信回絕了張道藩，勸張道藩忘了她。張道藩失望中與一位法國姑娘結了婚。
徐悲鴻與蔣碧微偷偷私奔時，徐悲鴻的畫幾乎一文不值，等到回來時，已經是如日中天，蔣碧微又先生了兒子，再生了女兒，一家四口可謂其樂融融。徐悲鴻又在南京中央大學任職，待遇非常高，可是變得越來越忙，僅有的共處時間也常因為一點小事就鬧彆扭。此時又出現了兩件事：一是蔣碧微與張道藩再次相遇，二是徐悲鴻與孫多慈的“師生戀”。
在中央大學的旁聽生裡有一位叫作孫多慈的女子，她的祖父孫家鼐是清末重臣，歷任工、禮、吏、戶部尚書和中國首任學務大臣，曾一手創辦京師大學堂（北京大學前身），她的父親叫孫傳瑗，曾是孫傳芳的秘書。孫多慈從小就接受了良好的教育，很喜歡繪畫，於1930年到南京中央大學美術系做旁聽生，正巧徐悲鴻是美術系主任，再加上孫多慈確實是繪畫的好苗子，可謂冰雪聰明，徐悲鴻便對她關愛有加。
作家蘇雪林曾這樣描述當時的孫多慈：“一個青年女學生，二十左右的年紀。白皙細嫩的臉龐，漆黑的雙瞳，童式的短髮，穿一身工裝衣褲，秀美溫文，笑時尤甜蜜可愛。”徐悲鴻是非常欣賞這位有超高繪畫天資的學生的，他曾寫道：“慈學畫三月，智慧絕倫，敏妙之才，吾所罕見。”徐悲鴻是很惜才的，他在繪畫指導上對孫多慈多多提攜，兩個人常在一起繪畫，正值徐悲鴻與蔣碧微“冷戰”，徐悲鴻發現自己可能愛上孫多慈了，作下一首隱晦的詩：“燕子磯頭嘆水逝，秦淮豔跡已消沉。荒寒剩有臺城路，水月雙清萬古情。”
匆匆趕回南京的蔣碧微也逐漸聽說了丈夫與女學生的事，心中也是痛心，她不知為何便來到了徐悲鴻在中央藝術系的畫室，進門後如遭雷擊，看到了徐悲鴻給孫多慈畫的肖像，還看到了一幅名為《臺城月夜》的畫，畫中一位少女披著白紗巾，跟徐悲鴻坐在一起看月亮。
蔣碧微非常生氣，將這幅畫搬走，此後沒有面世過。一個版本說是被蔣碧微藏到家中角落，終遭白蟻啃噬，另一個版本說蔣碧微將畫掛在家裡，徐悲鴻後來趁朋友邀請作畫時便將《臺城月夜》颳去，重新作畫，總之這幅註定流傳的名畫確實是遺憾地被毀了。
1931年，孫多慈打算正式考入南京中央大學藝術系，是徐悲鴻主考的素描，第二天孫多慈便以第一名的成績順利考入。蔣碧微又跟徐悲鴻發生了爭吵，要麼不錄取孫多慈，要麼徐悲鴻辭職。
徐悲鴻遞交了辭職信，用行動表明了自己一定要讓孫多慈入學，好在經過好友眾人相勸，徐悲鴻才又回到中央大學教書。年底，徐悲鴻在南京的公館建成，孫多慈選了一百株楓樹送過來，希望種在院子裡。蔣碧微得知大怒，將樹苗全部化作柴薪燒掉，徐悲鴻上課回來後也是生氣，但是他忍氣吞聲下來，將公館名字改為“無楓堂”，將畫室改作“無楓堂畫室”，還專門刻了一方“無楓堂”的印章。
徐悲鴻與蔣碧微的裂痕越來越大，有記載稱徐悲鴻帶孫多慈去寫生，二人相擁被拍成照片並發表在報紙上，一時之間鬧得沸沸揚揚，惹得蔣碧微大為惱火，加之張道藩又與蔣碧微相遇，仍對她念念不忘，徐悲鴻常常外出作畫，張道藩便來家中做客，蔣碧微與張道藩不相見時就開始書信往來，書信數量多得驚人。
隨後，蔣碧微又破壞了徐悲鴻費盡心力幫忙的孫多慈庚款留學的機會，孫多慈的父親也出現，不允許女兒做出師生戀這種事情，孫多慈已然在中央大學待不下去，不得不與徐悲鴻分隔兩地，回老家做了美術教師。徐悲鴻還在暗中幫助孫多慈，四處託朋友買孫多慈的畫，徐悲鴻也在家中待得很不開心，遠走廣西。
抗戰爆發前夕，遠在廣西的徐悲鴻收到孫多慈寄來的一封信，信中無字，只有一顆紅豆，徐悲鴻作了三首紅豆詩給孫多慈，其中一首這樣寫道：“急風狂雨避不禁，放舟棄棹匿亭陰。剝蓮認識中心苦，獨自沉沉味苦心。”
此時的徐悲鴻與蔣碧微已經是貌合神離，徐悲鴻早已對蔣碧微與張道藩的事視而不見，他提出過與蔣碧微離婚然後迎娶孫多慈，可是蔣碧微與孫多慈的父親均不同意此事，孫多慈的父親甚至帶著孫多慈藏起來，不允許二人再有任何往來。心灰意冷的徐悲鴻應邀去印度、新加坡等地講學，一去就是四五年，直到1942年才回國。
回國後已是物是人非，孫多慈已經應父母之命嫁給了大她十三歲的許紹棣，許紹棣人品不好，孫多慈的婚後生活並不幸福。1949年後，孫多慈隨許紹棣去了臺灣。而蔣碧微在徐悲鴻回國後也發現，自己愛上了張道藩。徐悲鴻提出與蔣碧微破鏡重圓，卻遭到了蔣碧微的拒絕。
徐悲鴻只得再次遠走廣西等地，在那裡，他遇到了第三個女人。1942年年底，重慶中國美術學院籌備處在桂林招考圖書管理員，十九歲的廖靜文參加了考試，一個星期後她驚喜地發現主持面試的居然是大名鼎鼎的徐悲鴻！廖靜文曾回憶初次見到徐悲鴻的樣子：“他當時只有四十多歲年紀，卻已兩鬢如霜。穿一件深藍色的棉袍，臉上的輪廓優美，線條十分柔和，彎白。”廖靜文很緊張，然而卻跟徐悲鴻聊得非常投機，中外名著、名畫、古典詩詞等都有著很多共識，廖靜文得到了徐悲鴻的欣賞，得到了工作機會。
逐漸地，徐悲鴻與廖靜文越來越熟悉，兩個人的好感越來越多，他們共同繪畫、工作，度過了一段快樂時光。然而，徐悲鴻有著失敗的婚姻，兩個人之間又存在著二十八歲的年齡差距，徐悲鴻日夜煎熬著，終於向廖靜文表白了：“我曾反覆考慮過，我今年四十八歲了，比你年長了二十八歲，我原不應該這樣要求你，但感情這種東西卻往往是這樣出人意料。在個人感情方面，我已壓抑多年了，沒有料到，終於在你面前傾倒出來。我看到了一個淳樸的女性形象，因而重新燃起了渴求愛情和家庭的慾望。”
1945年，蔣碧微出來阻撓，廖靜文的家人也出來反對。徐悲鴻面對的是一個曾面對過的場景，那一次徐悲鴻選擇了退縮，這一次，或許是歲月給了他力量，他不願再失去自己的幸福，在廖靜文臨上船的前一刻，徐悲鴻拉住了她的手。
隨後，徐悲鴻在貴陽《中央日報》登了兩則啟事：一則是與蔣碧微斷絕關係的啟事；一則是與廖靜文訂婚的啟事。徐悲鴻答應了蔣碧微提出的所有條件，送給蔣碧微一百萬元的贍養費和一百幅自己的畫。同時，他還將在法國留學時期以蔣碧微為模特創作的油畫《琴課》也送給了蔣碧微。
為了畫出這一大批畫，徐悲鴻日夜不停，甚至生了病。好在他與廖靜文終究是步入了婚姻的殿堂，證婚人為郭沫若與沈鈞儒。徐悲鴻曾經深情地對廖靜文說：“我真正找到了我所愛的人，除了你，沒有人會對我有這樣的愛情。我要把我最珍愛的東西都送給你。”後來，他在很多作品上都補題了“靜文愛妻儲存”。
然而，現實總是讓人惋惜的，徐悲鴻與廖靜文的婚姻只持續了七年時間。廖靜文曾悲痛地說：“生活是不公平的，它讓悲鴻生病……”1953年9月26日，徐悲鴻因患腦溢血病逝。
徐悲鴻逝世後，廖靜文將徐悲鴻留下的一千二百餘幅作品及徐悲鴻收藏的唐、宋、元、明、清和近代著名書畫一千餘幅，圖書、圖片、碑拓等萬餘件全部捐贈給國家，總價值達幾百個億，並捐出了北京的一套寓所建立徐悲鴻紀念館。
當時，徐悲鴻與廖靜文的兩個孩子徐慶平和徐芳芳還小，廖靜文堅持不留一幅畫，堅持把自己捐得毫無積蓄。談及徐悲鴻，廖靜文滿是愛意，她講述徐悲鴻病重期間家中困難，又不敢讓徐悲鴻知道，也不願跟人求救，她每日在醫院守候，當時徐悲鴻胃口很差，常常吃剩一些，都被廖靜文倒在一隻碗裡，然後自己一邊掉眼淚一邊站在醫院走廊裡充飢，擦乾眼淚再回到徐悲鴻床邊。
廖靜文還回憶徐悲鴻去世後，在他的衣服口袋裡摸到三顆水果糖，那一定是徐悲鴻在宴會上沒吃，留下來準備帶給她與兩個孩子的。廖靜文手裡捏著水果糖失聲痛哭，讓人悲傷。
這麼多年，廖靜文一直主持著有關徐悲鴻的相關事宜，徐悲鴻留下來的作品與藏品被廖靜文看成了生命，直到2003年，她還在主持修復徐悲鴻的畫。廖靜文還在20世紀80年代寫過《徐悲鴻一生》，引起很大反響。有人評價廖靜文是一個“為徐悲鴻而生，為徐悲鴻而活的女人”，徐悲鴻雖然早已去世，她用自己的行為為徐悲鴻做了一生的守候。
孫多慈嫁給許紹棣，後來一起去了臺灣，她有時便去美國到王少陵家坐一坐，因為友人家裡掛著一幅徐悲鴻的詩，那時王少陵為趕飛機隨手要了一幅徐悲鴻的畫，徐悲鴻在上面題字道：“急雨狂風勢不禁，放舟棄棹遷亭陰。剝蓮認識中心苦，獨自沉沉味苦心……”這哪裡是寫給王少陵的，而是寫給孫多慈的。
孫多慈晚年任臺灣師範大學藝術系主任，並日益精研繪畫，都說她繼承了徐悲鴻的衣缽真傳。據說，徐悲鴻去世的噩耗傳到臺灣後，孫多慈當即昏迷在地，醒來後又為徐悲鴻守孝三年，於1975年逝世。連廖靜文都惋惜道：“這是一個悲慘的故事，就是有情人未成眷屬。”
蔣碧微在拿了徐悲鴻的一百幅畫和一百萬元后，就來到了張道藩身邊，但是終究沒能成為張道藩的妻子，而是與他做了三十餘年的戀人。蔣碧微也隨著張道藩來到了臺灣，戀人畢竟不是妻子，蔣碧微從沒有能與張道藩一起出現在公共場合的機會。她身居孤島，更把自己關在寓所裡，1958年更是因張道藩妻子的緣故與其暫時分手。
十年之後，蔣碧微目送著張道藩去世。蔣碧微拿起筆，思索著她的一生，寫下了近五十萬字的長卷，上篇取名為《我與悲鴻》，下篇取名《我與道藩》。
蔣碧微於1978年去世，一直到去世前，張道藩給她的畫都掛在大廳，而徐悲鴻為她所作的肖像《琴課》一直掛在臥室。
