葉淺予在年近80歲的時候，開始寫他的回憶錄《細述滄桑記流年》，在書中，他真實地寫下自己生命中的幾個女人。他的女兒葉明明曾經說：“父親一生，在事業是上成功的，在生活上是坎坷的，在婚姻上是不幸的。”這個不幸，不知所指爲何，但其碼有一點，葉淺予的感情並不順利。以致於他的孫女曾經對他說，你這樣寫出來，會不會影響自己的社會聲譽?
葉淺予(1907.3.31-1995.5.8)，浙江桐廬人，國畫教育家，擅人物、花鳥、插圖、速寫等。葉淺予的舞畫、漫畫、速寫，被譽爲畫壇三絕。
羅彩雲是葉淺予第一任妻子。
1930年的冬天，23歲的葉淺予完婚。對方是當地望族羅家的大小姐，名叫羅彩雲。
完婚後葉淺予帶着羅彩雲一同來到了上海。第二年，他們有了自己的兒子，第四年，他們又有了自己的女兒，還給她取了一個小名叫明明。
羅彩雲生完小女兒之後，要做上海灘那風光的少奶奶，於是孩子也不帶了，家務也不做了，全交給了奶媽，她自己就逛街打牌，以爲這樣就是上層人的生活。這樣一來，家庭矛盾就不可避免了。
葉淺予回憶說：“她對我經常說的一句話是：‘錢用完了，拿錢來!’我的回答則是：‘辛苦錢來得不容易，省着點吧!’每天下班回到家，我覺得精神上總是空空蕩蕩的，一點生氣都沒有。”
就在葉淺予生活不如意，情緒低沉地的時間裏，另一個女人闖入了他的生活，那就是畫家樑白波。
兩人都是藝術家，樑白波學油畫，找了一份給雜誌封面作畫的工作，每發一篇能得稿費五元，生活的分艱難，很是窘迫。
(樑白波)
當時樑白波住的房子是合租，都是落難的文藝青年，其中就有蕭紅、蕭軍和端木蕻良，他們幾位比樑白波住進去的早。蕭紅經常聽朋友金劍嘯提起這位畫家，金劍嘯還給樑白波取了一個好聽的雅號：鴿子姑娘。
1935年春天，葉淺予和樑白波同時在北京參加了一個衛生宣傳活動，當活動結束後所有人都已經返回。他們兩個卻留了下來，結伴遊玩，玩了三天，白天閒遊嬉戲，晚上就去聽戲，在這三天裏，這份由普通的朋友同事情誼慢慢上升到了愛情，他們住在了一起。
這段婚外情還是被羅彩雲察覺到了，她偷偷跟蹤葉淺予與樑白波約會遊玩，又在報紙上找人發了一則名爲《“ 王先生 ”失蹤》的文章。大意是說這位“王先生”因爲家庭和感情問題離家出走了，沒人知道他去了哪裏，因爲這則消息是羅彩雲發出來的，而葉淺予漫畫主人公就叫“王先生”，明眼人一看就知道是怎麼回事了。
葉淺予被羅彩雲這種做法激怒，索性真就離家出走，與樑白波兩人就去了南京定居，羅彩雲氣不過叫來了自己父親和兄弟，直接跑去南京把葉淺予帶回了上海。
在各方的勸說遊說下，葉淺予與羅彩雲達成了一個分居協議，就是繼續保留夫妻名分，葉淺予每月向羅彩雲提供贍養費。
1937年，抗戰爆發，安頓好家人之後，葉淺予和樑白波也隨之南下，在武漢的時候，樑白波愛上了別人，他是一位空軍戰鬥英雄，名叫陳恩傑。
葉淺予想帶她離開武漢，去往香港，以斷她與陳恩傑的這份感情，但樑白波這一次選擇了拒絕。深究原因，其中一個很重要，就是葉淺予無法給樑白波一個名分，而這，偏偏是一個女人最爲看重的。
從互相吸引到如今的分道揚鑣，不過短短三年。
樑白波追隨陳恩傑去往了臺灣，兩人後來還是分了手。樑白波重新拾起畫筆，在好友的報刊上畫插圖。上世紀六十到七十年代之交，樑白波因精神分裂症在臺南的海灘自殺身亡。
1940年春季，宋慶齡特邀一位從英國來香港的華僑舞蹈愛戴愛蓮舉辦表演會，宣傳抗日，希望葉淺予在宣傳方面給予支援。葉淺予如約去了，見到了舞蹈家戴愛蓮。
晚年的葉先生回憶：“一個星期以後，我和戴愛蓮成了熟朋友。大約過了半個月光景，我倆之間即由‘社會人’的關係昇華到‘生物人’的關係，開始談情說愛。”
這一年，葉淺予33歲，戴愛蓮24歲。
1949年北平解放，葉淺予當了美協副主席。1950年文化部聘請戴愛蓮當了北京舞蹈學校校長。
1950年年秋末，葉淺予參加民族訪問團去新疆。冬天回到北京，戴愛蓮忽然向葉予提出離婚。“這真是睛天霹靂，我大吃一驚，問她爲什麼，她說她已經愛上別人了。我問那人是誰，他是來我們家住過的一位青年舞蹈家。1951年，我含着眼淚，與她辦了離婚手續。屈指算來，從1940年到1950年，我和愛蓮在一起生活了一整整10年。我一直傾心於她對藝術執著的奮鬥和追求，沒想到最後我們卻是這樣分手。”這一次打擊，讓葉先生幾十年後還無法釋懷。
和戴愛蓮離婚後，葉淺予和王人美走在了一起。
王人美是老牌影星，在中國早期無聲電影時代，王人美就是大名星了。1914年，王人美出生於湖南長沙，1927年入上海美美女校就讀。1931年後主演或參加演出電影《野玫瑰》、《芭蕉葉上詩》。她主演的電影《漁光曲》在1935年蘇聯第一屆國際電影節上獲榮譽獎。1950年從香港返回內地，在北京電影製片廠相繼拍攝《兩家春》、《青春之歌》等影片。1952被人誣衊爲曾是軍統特務頭子戴笠的情婦，受到極大刺激，終致發瘋被送入精神病醫院治療。
王人美第一任丈夫是有老牌影帝之稱的金焰。結婚時，他們一個二十歲，一個二十四歲。但在十一年後，也就是一九四五年，他們分手了。他們到底因何分手，解釋各異。
王人美和金焰分手後，一個人孤單地過了十年。
其實葉淺予和王人美以前也認識，三十年代的時候兩個人都在上海，王人美演戲、葉淺予畫漫畫。
此時的葉淺予經歷了幾次婚戀，也不像年輕時那麼衝動了，他希望有個穩定的家。在好友的熱心攝合下，王人美也同意了，結婚的時候，王人美41歲，葉淺予48歲。婚後兩個人到了上海，過了幾年的平靜日子。
(葉、戴和女兒葉明明)
大概因爲性格原因，在熟人眼裏，兩人一輩子都在磕磕碰碰，在王人美的回憶錄裏，她給葉淺予下了這樣的結論：“葉淺予是個好畫家，卻不是個好丈夫。他除了懂畫，別的什麼都不懂……有好多好多讓我惱火的事……葉淺予是個過於沉浸在事業裏的人，當這種人的妻子，真不容易!”
葉淺予本性耿直，雖歷盡磨難，仍遇事直言不諱。晚年撰寫數十萬字的回憶錄，秉筆直書，心胸坦蕩。在同輩的老先生中並不多見。
(葉淺予和王人美)
葉淺予與羅彩雲生的兒子大學畢業後，將他母親接到無錫，勸導母親與父親辦理了離婚手續。那個十年裏，葉淺予被關進秦城監獄，無力支付羅彩雲的生活費用，她只得依靠兒女們供養。1970年因患重症不堪忍受疾病折磨，吞服過量安眠藥身亡。
1987年4月12日晨，王人美去世。
葉淺予先生1995年5月8日因病逝於北京，享年88歲。
(右一和右三爲葉淺予和樑白波)
戴愛蓮2006年2月9日在北京逝世，享年90歲。
