建安六年，曹操在郡中推薦司馬懿爲上計掾，但司馬懿竟然以患有風痹症而拒絕了這份工作。直到建安十三年，曹操擔任丞相後，才使用強制手段將司馬懿徵召到手下，擔任文學掾。隨着時間的推移，素有識人之明的曹操覺察到司馬懿“有雄豪志”，又發現他有“狼顧之相”，因而對曹丕說道“司馬懿非人臣也，必預汝家事”。
或許是出於對司馬懿的防範，曹操當政期間，司馬懿並未擔任什麼重要職位，只是隸屬於丞相府的屬官。然而，司馬懿與曹丕聯繫緊密，憑藉其“勤於職守、廢寢忘食”的積極表現和曹丕的極力維護，打消了曹操的疑慮。
在曹操晚年時，發生了立嗣之爭，當時曹丕和曹植各自形成了自己的勢力圈子。司馬懿和賈詡、崔琰、陳羣、桓階、邢頤、吳質等朝臣擁護曹丕，最終曹丕取得了立嗣之爭的勝利。此時，除了司馬懿之外，曾經擁護曹丕的重臣要麼已經去世，要麼已然垂垂老矣，已經很難再輔佐曹丕。因此，司馬懿在曹丕上位後被曹操提拔爲太子中庶子，是將其作爲曹丕肱股之臣培養的。
曹丕正式稱帝后，藉着“從龍之功”和與曹丕的長期良好關係，司馬懿的身份地位得以迅速提升，被任命爲了尚書、督軍、御史中丞，封安國鄉侯，後升任侍中、尚書右僕射。
很多人不瞭解的是，司馬懿出生於光和二年(179年)，只比出生於中平四年(187年)的曹丕大了八歲而已。憑藉着年齡優勢和曹丕的寵信，在曹操麾下文臣武將逐漸凋零的情況下，司馬懿擁有着極大的成長空間。
