據《留青日札》記載，當朱元璋打下江浙後，沈萬三與其弟萬四(沈貴)在兩浙豪富中首先輸糧萬擔，獻白金五千兩，以佐用度，“太祖軍食，多取資焉”。但是貪得無厭的朱元璋卻要“務罄其所有金”，想方設法來消耗他的家財。
據董谷《碧裏雜存·沈萬三秀》記，有一次，朱元璋在月朔(即初一)日召見他，給他一文錢要他生利，從初二開始，一文取兩文，初三日取四文，初四日取八文，每天翻一倍，亦即按等比級數增長，以一月為期。沈萬三不知就裏，欣然接受。哪知回家一算，一月之後，該付給朱元璋利息為五億三千六百八十七萬九百十二文。按，洪武錢每一百六十文重一斤，則共計三千三百五十五萬四千四百三十二斤。沈氏雖富，但哪裏經得起這樣的盤剝?
除了巧取，還有豪奪。有一次，朱元璋召見沈萬三，要他每年“獻白金千鋌，黃金百斤”，還命他造六百五十間廊房，養數十“披甲馬軍”，並對他的田產每畝徵九鬥十三升的重税。
沈萬三大概也明白樹大招風的道理，所以想主動報效以保平安。明洪武六年(1373)前後，當他得知京城(今南京)要築城牆時，就主動承擔了修築洪武門至水西門城牆的任務。當時的南京城牆全長三萬七千一百四十米，合七十四華里多，朱元璋的築城計劃，僅造磚一項，便涉及一部(工部)、三衞(駐軍，相當於軍區)、五省、二十八府、一百一十八縣，另有三個鎮。而沈萬三一人負責的城牆，佔整個工程量的三分之一，他以一家之力，是怎樣如期完成的?沒有人知道。
今南京水西門外，有座賽虹橋，相傳為沈萬三兒媳所建。明人記載，沈萬三建造數橋之後，很是得意，便在家中炫耀。誰知兒媳很不以為然，便用私房錢悄悄建了一座橋。該橋“工巧宏麗”，比公公所造之橋有過之而無不及，人們把它叫做“賽公橋”——兒媳尚且如此，可見沈家確實實力不凡。
沈萬三處於事業巔峯時，他的弟弟沈貴(萬四)已看到危機，曾寫詩勸他説：“錦衣玉食非為福，檀板金樽亦可休。何事百年長久計，瓦罐載酒木綿花。”要他低調做人，從事耕織，但沈萬三沒有聽從他弟弟的話，終於招來了滅頂之災。
