晗於1909年8月11日出生於浙江義烏，原名吳春晗，字辰伯。家庭經濟時常顛簸於溫飽與小康之間。其父吳濱珏，秀才出身，家道頗嚴。吳晗少年聰慧，自小就對歷史尤其明史產生了濃厚興趣。吳晗不僅早慧，而且早熟，12歲時到金華讀中學，廣讀博覽，一邊吸收梁啓超變革維新的思想，一邊還學會了打麻將、抽菸，逃學曠課，無所不有，總之，他不是一個“乖孩子”。
1925年吳晗中學畢業，因家道衰落，遂在本村小學教書，賺取一點工資貼補家用。但吳晗志不在此，1928年他獨自離家出走，輾轉來到杭州考入之江大學預科;一年後該校停辦，又前往上海，考入中國公學。從此，他與胡適結下不解之緣——胡適此時正是該校校長。
進入中國公學，吳晗即成爲胡適門生，不久寫下《西漢的經濟狀況》一文，深得胡適讚賞。1930年3月19日，吳徑直寫信向胡適討教自己在整理《佛國記》時遇到的問題：“明知先生很忙，不過除了先生之外，我實在想不出一個比先生更能用科學的方法來解決和指導路徑的人。”不久，胡適離開中國公學，吳晗則追隨北上，經人介紹，由顧頡剛安排在燕京大學圖書館當館員。此間，他寫下《胡應麟年譜》，並以此成爲他正式研究明史的開端。吳晗再度爲此寫信討教胡適，胡適在收信的第二天即給吳晗回信，對其作品大加讚賞，並約吳晗“星期有暇請來談”。從此，吳晗成爲胡適的“弟子”。
吳晗未入北大的原因是他偏科嚴重，入學考試需考文史、英文和數學三科，他的文史、英語均得滿分，而數學竟然考了零分，按北大規定，有一門零分不得錄取。隨後他改投清華，得到同樣成績，但清華網開一面，以文史成績特別優異爲由，破格錄取了他。吳晗遂成爲“清華人”，與北大失之交臂。
吳晗進入清華時，家道基本敗落。胡適對這位弟子真是青睞有加，他在吳晗錄取後沒幾天，即給清華代理校長翁文灝和教務長張子高寫信：“此人家境甚貧，本想半工半讀，但他在清華無熟人，恐難急切得一個工讀機會。他若沒有工作的機會，就不能入學了。我勸他決定入學，並許他代求兩兄幫忙。此事倘蒙兩兄大力相助，我真感激不盡。”此外，還大力介紹了吳晗的學術水準。
吳晗作爲清華學子，全面師法的卻是胡適這位北大先生的治學方法。胡適在給吳晗的信件中，對這位弟子進行了多方面指導：“治明史不是要你做一部新明史，只是要你訓練自己作一個能整理明代資料的學者。”吳晗表示：“光耀所及，四面八方都是坦途。”可見胡適對他影響之深。
20世紀30年代，中國有着動盪中的平安。1931年爆發“九一八”事變，東三省淪陷，羣情激奮。吳晗顯然是一位愛國者，他積極支持同學們的請願活動，自己卻未廁身其間，但他畢竟是血氣方剛的熱血青年，在1932年1月30日給胡適的信中指責當局：“翻開任何國任何朝代的歷史來看，找不出這樣一個卑鄙無恥喪心病狂的政府。”並在信中希望“先生也同樣地予以解決的方法並指示一條應走的路”。
胡適沒有回答。他於1932年6月27日發表《贈與今年的大學畢業生》一文，繼續倡導“科學救國”的理念，但胡適在“藥方”中同時要求學生們“總得有一點信心”。
因着胡適的關照，吳晗在清華兼職工讀，待遇頗爲優厚，足夠滿足求學之需。吳晗畢業時，在自己的畢業照上題寫着胡適的名言：“大膽的假設，小心的求證。少說些空話，多讀些好書——錄胡適先生語。”
吳晗真是做史學的料，聰慧勤奮，再加恩師教誨，他在清華求學期間便寫下了《胡惟庸黨案考》、《明代靖難之役與國都北遷》、《明代之農民》等一批相當有見地、在史學界有較大影響的文章。1934年吳晗畢業留校任教，開設明史和明代社會等課目，影響直追陳寅恪、張蔭麟這些史學大家。
吳晗年輕時的一個重要史學成績是關於“建州史”的研究。建州乃女真族先祖之地，努爾哈赤入關並建清王朝後，竭力否認建州曾在明朝管轄之內，並在清修《明史》中對過往歷史進行篡改、僞造和歪曲。正如魯迅指出的那樣：“現在不說別的，但看雍正，乾隆兩朝對於中國人著作的手段，就足夠令人震驚。全毀，抽毀，刪去之類也且不說，最陰險的是篡改了古書的內容。乾隆朝的纂修《四庫全書》是許多人頌爲一代盛事的，但他們不但搞亂了古書的格式，還篡改了古人的文章，不但藏之於內廷，還頒之於文風頗盛之處，使天下士子閱讀，永不會覺得我們中國的作者裏面，也曾經有過很多很有些骨氣的人。”中國的歷史就是這樣被一頁一頁撕毀的。
最終考據結果表明，早在明朝就設有“建州衛”，女真族長期隸屬明政府，是中華民族中一員。通過這段研究，吳晗的史學觀念發生了變化，正如他在主編《益世報》史學專刊時表達的那樣，一、但論是非，不論異同;二、求真;三、重視“一向不被人們所重視的正史以外的若干記載”;四、“史學是屬於社會的民衆的”。這表明吳晗對官修歷史產生了嚴重質疑，他在《史學》一週年的致辭中寫道：“我們認爲帝王英雄的傳記時代已經過去了，理想中的新史乃社會的、民衆的。”
這裏，筆者要特別指出的是，20世紀30年代正是法國年鑑學派興起的時期，其治史方式也正是放棄政治史，重點轉向研究社會生活史對社會演變所起的作用。年鑑學派大量吸收馬克思主義的觀念，成爲當代史學最重要的流派之一，涌現出一批史學大家，如馬克?布洛赫、布羅代爾等。吳晗的治史方式與之有相當程度的契合，儘管表達不甚明確，也沒有形成團隊規模。可見，中國學術界在上世紀30年代就達到了相當高度，雖不能並肩歐美學界，但追趕已非遙遙無期。
