乾隆時期文壇上最有影響的人物無疑就是紀曉嵐。紀曉嵐生於雍正二年，即公元1724年，年長蔡以臺5歲。但他年壽康永，一直活到嘉慶十年(1805年)。因此，一生所獲名位、事功爲蔡以臺遠遠不及。倘若從乾隆三年(1738年)紀曉嵐與蔡以臺一同拜董邦達爲師學習書法、繪畫算起，到蔡以臺離京探母止，紀、蔡兩人當有二十多年的交往。在這期間，紀曉嵐於乾隆十二年(1747年)考中解元、乾隆十九年(1754年)考中進士，蔡以臺於乾隆十五年(1750年)考中舉人、於乾隆二十二年(1757年)考中狀元(進士第一名)。璀璨人生的起步，他們算是肩並着肩的兄弟。
乾隆三十三年(1768年)，紀曉嵐的生活有了大波折，他被流放去了新疆。此時，回了南方故里的蔡以臺或許已經染病辭世。厄運臨頭，處於寂寞中的紀曉嵐或許有夢夢到了師弟蔡以臺。於是，他把蔡以臺寫進了自己的小說中：
蔡季實殿撰有一僕，京師長隨也，狡黠善應對，季實頗喜之。忽一日，二幼子並暴卒，其妻亦自縊於家，莫測其故。姑斂之而已。其家有老嫗私語人曰：是私有外遇，欲毒殺其夫，而後攜子以嫁，陰市砒制餅餌，待其夫歸，不虞二子竊食，竟並死，婦悔恨莫解，亦遂並死。然嫗昏夜之中，窗外竊聽，僅粗聞祕謀之語，未辨所遇者爲誰，亦無從究詰矣。其僕旋亦發病死，死後，其同儕竊議曰：主人惟信彼，彼乃百計欺主人，他事毋論，即如昨日四鼓詣圓明園侍班，彼故縱駕車騾逸，御者追之復不返，更漏已促，叩門借車必不及，急使僱倩，則曰：風雨將來，非五千錢人不往。主人無計，竟委曲從之。不太甚乎?奇禍或以是耶?季實聞之曰：是死晚矣，吾誤以爲解事人也。
陳楓崖光祿言：康熙中，楓涇一太學生，嘗讀書別業。見草間有片石，已斷裂剝蝕，僅存數十字，偶有一二成句，似是夭逝女子之碣也。生故好事，意其墓必在左右，每陳茗果於石上，而祝以狎詞。越一載餘，見麗女獨步菜畦間，手執野花，顧生一笑。生趨近其側，目挑眉語，方相引入籬後灌莽間。女凝立直視，若有所思，忽自批其頰曰：“一百餘年，心如古井，一旦乃爲蕩子所動乎?”頓足數四，奄然而滅。方知即墓中鬼也。蔡修撰季實曰：“古稱蓋棺論定。觀於此事，知蓋棺猶難論定矣。是本貞魂，乃以一念之差，幾失故步。”晦庵先生詩曰：“世上無如人慾險，幾人到此誤平生。”諒哉!
《閱微草堂筆記》中的這兩則故事都提到了“蔡季實”。“季實”是蔡以臺的字，“殿撰”與“修撰”意思相同，是蔡以臺當日在翰林院的職銜。前一則故事，講的是因果報應，蔡以臺是當事人，表現出誠篤、仁厚的性格，估計紀曉嵐先前對師弟的易輕信他人的毛病是有較深印象的;後一則因爲事情“發生”在楓涇，所以自然想起楓涇籍師弟蔡以臺的評論。或許這個故事原本就是蔡以臺講給紀聽的，紀現在寫成文字，自然有份緬懷的感情在。
除紀曉嵐外，乾隆朝最優秀的詩人錢載、最優秀的戲曲作家蔣士銓都和蔡以臺有過交往。錢載是浙江嘉興人，與蔡以臺有同鄉之誼，彼此間有書畫、詩文往還。蔣士銓有一首題爲《邁陂塘.題潞河送客圖餞蔡蘭圃歸覲次戴匏齋韻》的詞傳世，其中的“蔡蘭圃”就是蔡以臺。
