桓階早年當過郡守的功曹史。太守孫堅推薦他爲孝廉，後被朝廷任命爲尚書郎。桓階因父親去世返鄉奔喪，正趕上孫堅在攻打劉表時戰死。桓階便冒着生命危險前去拜見劉表，請求爲孫堅送喪。劉表被他的義氣所感動，就把孫堅的屍首、靈柩讓他帶走了。
勸說張羨建安五年(200年)，曹操與表紹在官渡相持不下，劉表帶領荊州的人馬全力接應袁紹。桓階見到這種情況，就勸說太守張羨道：“不論幹什麼事情，採取什麼行動，只要不是以禮義爲根本，就沒有不失敗的。因爲明白這個道理，所以以前齊桓公就率領諸侯尊崇周天子，晉文公就追殺太叔又收留周襄王，並幫助周襄王復了位。如今袁紹違背了這個道理，而劉表又緊隨其後，他們走的都是自取滅亡的路啊。您一定要深明大義，明辨是非，保全福運，遠離災禍，決不能和他們同流合污!”張羨問：“但是咱們現在又該怎麼辦纔好呢?”桓階說：“眼下曹操的力量雖然很弱，但是他仗義起兵，挽救朝廷的危亡，奉王命討伐罪臣，天下人誰敢不服?如今您若能把四郡的力量聯合起來，保住三江，等待曹操的大軍，到時候裏應外合，難道這不是一條出路嗎?”張羨說：“好!”於是把長沙和周圍三郡的人馬都動員起來對抗劉表，又派出使者前去謁見曹操，曹操十分高興。這時袁、曹之間的戰事正接連不斷，曹軍一直未能南下，而劉表卻加緊攻擊張羨。張羨病死，長沙城被攻破，桓階只得自己躲藏起來。過了很久，劉表又徵召他做從事祭酒，還打算把妻子的妹妹蔡氏嫁給他。桓階推說自己已有了老婆，拒不接受，接着又稱病辭官告退了。
效力曹操
建安十三年(208年)，曹操平定荊州之後，聽說桓階曾經爲張羨出謀劃策，認定他是個奇才，就徵聘他做丞相掾主簿，在丞相府典領文書，參與機要。後又調任趙郡太守。魏國建立之初，桓階任虎賁中郎將侍中。當時尚未確定太子，而臨菑侯侯曹植很受曹操的寵愛。桓階就在曹操面前多次誇耀曹丕德操優良，年紀又比曹植大，適宜立爲太子。不論在大庭廣衆之下，還是在單獨召見的時候，桓階都是這樣勸說曹操，從始至終態度十分懇切。這時，大臣毛玠、徐奕因爲剛直忠正，不納私黨，被西曹掾丁儀視爲眼中釘，丁儀就多次在曹操面前說他倆的壞話，全仗着桓階在一旁勸解、周全。桓階在曹操面前誇獎順時應世之臣，助成事情成功，匡救忠良，大都如此。桓階以後又升任尚書，協助曹操處理軍政要事，還主管着選拔人才的事務。
計破關羽
建安二十四年(219年)，曹仁被關羽圍困，曹操派徐晃前去援救，起初徐晃兵力不足，未能順利解圍。曹操打算親自領兵南征，以救援曹仁，就把自己的想法跟大臣們講了，問這樣辦行不行。大臣們都回答說：“你要是不趕緊去，這場戰事必敗無疑。”惟獨桓階說：“大王您認爲曹仁等能不能完全由自己判斷形勢、處理戰事?”曹操回答：“能。”桓階又問：“大王是不是怕他和徐晃不盡心盡力?”曹操回答：“不是。”桓階再問：“那您爲什麼還要親自前往呢?”曹操說：“我只是擔心敵軍人馬衆多，恐怕晃等勢力不如敵人。”桓階說：“眼下曹仁等身處重圍之中而能拼死守城毫無二心的原因，正是因爲他們所處的境地和您距離遙遠。人常說，居萬死之地，必有死爭之心。如今他們內有死爭之心，外有強將援救，大王如果統率大軍按兵不動，從容向敵兵顯示我軍的實力，哪兒還用得着擔心失敗而親自前往呢?”曹操覺得他說得有道理，就統率大軍駐守在摩陂。沒過多久，蜀軍就被打退了。
曹魏元勳
黃初元年(220年)，曹丕即位後，桓階升任尚書令，成爲直接對曹丕負責總攬一切政令的官員，事實上即成爲宰相，封高鄉亭侯，加侍中。
黃初二年(221年)，桓階得病，曹丕親自去看望，對他說：“我剛剛把我自己未成年的兒子和國家的命運寄託給你，你可要保重和努力啊!”後又晉封桓階爲安樂鄉侯，食邑六百戶，還把他的三個兒子都賜封爲關內侯。因爲桓祐是桓階的嗣子，所以沒有封侯，但是當桓祐病故之後，曹丕也追贈他爲關內侯。
桓階病勢嚴重，曹丕又派使者傳詔拜他爲太常。桓階死後，曹丕傷心得直流眼淚，諡封他爲貞侯。桓階的兒子桓嘉繼承了他的爵位，桓階的弟弟桓纂被任命爲散騎侍郎，也被賜封爲關內侯。
正始四年(243年)七月，桓階得享從祀於曹操廟庭。
