袁枚晚年做絕命詩云：“倘見玉皇先跪奏，他生永不落紅塵。”讀來讓人唏噓，這個隱居山中長達五十年，名滿天下，又譭譽參半的“山中宰相”，竟然也厭倦了紛擾複雜的人世間，希望自己永遠別再投胎做人。可見，以風流自許，逍遙自在的袁子才，也看透了人世間的虛僞，即使是忍把浮名，換了淺斟低唱，也難逃世人的冷眼和攻扞。
我們常說，是西方的貴族成就了西方的藝術。即使是生性高傲的貝多芬，爲了生計，也經常和貴族來往，貝多芬的很多作品，如《大公三重奏》、《華爾斯坦奏鳴曲》都是獻給貴族的。但在中國，卻不是這樣。似乎窮且益堅，不墜青雲之志，是士人必需的人格修養和氣節。而袁枚和陳繼儒、李笠翁等都一樣，由於經常和權貴眉來眼去，遭到不少白眼。
袁枚的遭人詬病，當然也有生活不檢點的原因，章學誠呵斥他：“斯乃人首畜鳴，人可戮而書可焚矣。”言語甚是激憤苛刻。更有甚者的是“劉羅鍋”劉墉，在他任江寧知府期間，因厭惡袁枚生活有傷風化，且又是名人，社會影響太大，竟然要把袁枚逐出南京城。而今人對袁枚不滿的也大有人在，錢鍾書說他：“子才裝點山林，逢迎冠蓋，其爲人也，兼誇與諂。”一臉的不屑。報人黃裳則更直接地說：“我對袁子才一向沒好感……對他的那種顧影自憐的名士才情始終不能欣賞，實在是無可奈何的事。”
當然，人活在世上，要想做到人見人愛是不可能的。袁枚其實並沒有什麼大的人格污點，他做官時，爲官清正，而喜歡自誇，生性風流，善於斂財都算不了什麼，反而反映出他的精明，審時度勢。
袁枚想當陶淵明，但他並不想“乞食”度日，而利用自己的社會名望，換取最大的利益，本來是一件極其平常的事情。袁枚花300兩銀子，買下了廢棄的隨園，但要重新打理，過優越的隱居生活，則需要充足的經濟保障。而此時的袁枚，只是做了幾年的小官，並無多大積蓄。賺錢，實在也是情勢所迫。而袁枚的斂財方式有多種，足以說明他過人的經營頭腦。
他將隨園邊上的田地，租給農戶養雞種植。不僅每年可收租金，且日常開銷的雞鴨魚肉，蔬菜瓜果，都有農戶直接供應。且他曾在安徽滁州購有田產，也可收租金。僅此一項，袁枚的生活至少可以不爲五斗米發愁，但這還是最基本的生活保障。袁枚在當時已經名揚天下，社交活動頻繁，而僅僅依靠這些收入是遠遠不夠的。
由於袁枚的名望，他的著作都是當時的暢銷書，而他自己家裏就有刻版印刷的作坊，自產自銷，聲名遠播，洛陽紙貴，這也給他帶來的不菲的經濟收入。而袁枚尤其受人詬病的是，利用自己的名望，給名公巨卿，豪門富戶寫了大量的傳記和墓誌銘，其間有人奉送的潤筆竟達千金。
其他諸如廣受弟子，獲取束侑。而袁枚是當時詩壇盟主的地位，即使他不去巴結官僚，官僚也會主動與他示好，送他財物。當然，袁枚的確寫了不少吹捧的文字，而鄭板橋罵他“斯文走狗”也不是全無道理。
