就在潘素大放異彩的時候，一場災難在等着她。潘素13歲時，母親病逝，父親娶了繼母。兩年後，潘素被王氏以擅長彈琵琶爲理由，將她賣到青樓掙錢。“潘素初來上海人出落得秀氣，談吐不俗，揮筆成畫，於是在五方雜處、無奇不有的上海灘，曾大紅大紫過。”(張伯駒好友孫耀東)張伯駒晚年曾寫過一首《瑞鷓鴣》，“姑蘇開遍碧桃時，解後(避逅)河陽女畫師，紅豆江南留夢影，白滔風末唱秋詞。除非宿草難爲友，那更名花願作姬，只笑三郎年已老，華清池水恨流脂。”這首詩就是描述自己當年追求潘素的情景。
1937年兩人婚後，潘素在張伯駒的栽培下，成爲了著名的青綠山水畫家。潘素跟過當時很多大師畫，比如朱德甫、汪孟舒、陶心如、祁井西等。更關鍵的是，張伯駒家中各種古代畫作應有盡有，這使得潘素能天臨摹，繪畫水平突飛猛進。張大千在看過潘素的畫作後，稱讚道“神韻高古，直逼唐人，謂爲楊升可也，非五代以後所能望其項背。”1958年，潘素的山水畫《臨吳歷雪山圖》曾被作爲禮物送給英國首相;臨摹隋代展子虔的《遊春圖》，在中國文化代表團訪問東京時，將其贈予了日本天皇。
跟張伯駒結婚20年後，潘素終於揚名天下，這次不是她曾經的美貌，而是那高超的繪畫水平。潘素是幸運的，張伯駒也是幸運的，如果沒有遇上張伯駒，就沒有她的幸福生活和出色的書畫成就;如果沒有潘素的出現，張伯駒的家庭生活就不會那麼和諧多彩。
