張安世乃張湯之子，字子孺，少時以父蔭擔任郎職。他因為善於書寫，給事尚書，精力充沛，休息時也不外出。漢武帝出行河東，曾經丟失三篋書，下詔詢問，沒有誰能夠知道書的內容，唯有張安世記得，完整地書寫出來。後來買到那些書，加以對照，發現張安世書寫的沒有絲毫遺漏，漢武帝由此驚奇他的才華，擢拔他為尚書令，升遷為光祿大夫。
網絡配圖
漢昭帝即位後，大將軍霍光秉政。張安世因為言行穩重，為人敦厚，得到了霍光的親近、重視。其後趕上左將軍上官桀父子及御史大夫桑弘羊等人與燕王、蓋主謀反被誅，霍光以朝無舊臣為由，上報用安世為右將軍光祿勛，作為自己的副手。過了很久，昭帝下詔，封張安世為富平侯。次年，漢昭帝去世，尚未埋葬，霍光稟明太后，轉安世為車騎將軍，一起徵召昌邑王劉賀。劉賀行為淫亂，即位不久，霍光、安世等人一起商議廢掉他，另尊立宣帝。宣帝即位，褒賞大臣，加封安世食邑一萬零六百户，功勞僅次於霍光，其子張千秋、張延壽、張彭祖皆為中郎將。
大將軍霍光去世數月，御史大夫魏相上疏，舉薦張安世為大將軍，安世之子張延壽為光祿勛，皇帝也打算採納。安世聞知，十分懼怕，不敢承當，於是請求私下拜見皇帝，婉言推辭。過了幾天，宣帝拜安世為大司馬車騎將軍，領尚書事務。過了數月，罷除車騎將軍屯兵，更為衞將軍，兩宮衞尉、城門以及北軍兵馬都歸他統領。
網絡配圖
其時，霍光之子霍禹為右將軍，宣帝亦以霍禹為大司馬，罷免了他的右將軍屯兵，以虛尊加之，而實際上是削奪他的權力。過了一年多，霍禹謀反，宗族被滅。安世素來小心謹慎，畏懼被忌，已經內心感到憂慮，而他的孫女張敬為霍氏外屬媳婦，應當連坐，這使得他的恐懼，形於顏色。宣帝見到，既感奇怪，又非常憐憫，就向左右詢問原因，於是赦免張敬，以安尉安世。安世因而更加恐懼，他主管朝政大事，向來以謹慎周密著稱，皇宮內外沒有區別。
網絡配圖
安世曾經舉薦了一個人，後來這個人前來感謝，他因此感到非常遺憾，以為推薦賢能之人，使之通達，乃是分內的應有之事，不能藏有私心，所以後來再有表示謝意的，一律不予相見。還有個郎官功勞很高，卻沒有得到升遷，就告訴安世，安世説皇帝知道你的功績，我們為人臣子的不應該議論短長，表面上堅決拒絕為他提升。不久，這個郎官得到升遷。安世問幕府長史自己有何過失，長史説他作為股肱之臣，不為國家舉賢進能。安世回答説，明主在上，能夠清楚地分辯賢能與不肖，為人臣子的加強自己的修養就行了，沒有必要舉薦士人。他就是這樣隱匿名聲，遠離權勢的。
