在葉淺予一生的四次婚姻中，他與王人美生活的時間最長。他們是1955年結婚的，當時葉淺予47歲，王人美41歲。
王人美，本名王庶熙，湖南瀏陽人。在她很小的時候，母親就撒手人寰。1926年考入湖南第一女子師範學校。她父親本來是想讓她女承父業，當個中學教師。不料父親病故後，這個家中最小的女兒，無人照料，就跟隨哥哥到了上海，考入黎錦暉的歌舞學校學習。畢業後加入黎錦暉的明月歌舞團，與黎莉莉、薛玲仙、胡笳被譽爲明月歌舞團的“四大天王”。後來參加演出電影《漁光曲》，一舉成名。
葉淺予和王人美雖然在1930年代就認識，但涉及談婚論嫁的事，還是1955年經朋友撮合而成的。他們經過幾個月的交往，葉淺予就提出結婚的事。當時王人美正在長春拍片，給葉淺予回信，談了自己的想法。因爲她與著名影星金焰有過一段失敗的婚姻，她不希望重蹈覆轍，只盼新的婚姻能夠彼此間有“更深瞭解，事先考慮、準備如何克服困難，以期達到更好的合作”。可是性急的葉淺予並沒有考慮得更細些，在王人美拍完電影，回到北京之後，就在北京的四川飯店花了200元辦了酒席，請朋友們聚會一下，就結婚了。
婚後，葉淺予告訴王人美，他已經破產了，他的全部財產只有200元。家裏的日用品只得王人美掏錢購買。婚後才一個多月，他們就因一件小事頂撞起來，甚至王人美還提出離婚的事。這就讓葉淺予開始慎重了。葉淺予發覺王人美性格急躁，她作爲家裏的內當家，希望自己有獨立處置事務的活動空間，不希望丈夫干涉更多。王人美承認葉淺予是個好畫家，卻不是個好丈夫，而是個“倔老頭”。
“文革”結束後，他得到補發工資三萬多元。家裏當時也需要錢，可是他卻無償地捐給了中央美院。到他們搬家需要錢時只得跟榮寶齋借錢。像這樣大事，他都不同妻子商量，王人美對他的這種大男子主義非常不滿。本來王人美性格內向，葉淺予又專注於他的事業，彼此間很少交流。有時他們一起到公園去，葉淺予找地方坐下後，就拿出速寫本畫速寫，無暇顧及與她的交流。他們就這樣磕磕絆絆地過日子，感情不冷不熱，但在遇到“文革”的磨難時，還能互相體貼和關照。
1980年爲了找房管所換房，王人美急出病來，患了腦血栓之後，葉淺予只得順從、忍讓，使得他們夫妻過了幾年平靜的生活。1986年他們所住的甘雨衚衕要搬遷，他們家只好暫時分居在中國畫院和王人美所在的北影招待所。或許是距離產生美吧，夫妻分居兩處，每週互相看望，倒也顯得親近了很多，顯得感情甚篤，很有情趣。不料，這一年的冬天，王人美突然摔倒，患了大面積腦溢血。在醫院治療了幾個月，不見收效，終於在1987年3月病故。
