初遇曹操
張遼本是聶壹的後人，其家族爲了避怨而改張姓。張遼少年時便已舉郡吏。東漢末年，幷州刺史丁原以張遼武力過人，召其爲從事，命他帶兵往赴京都。何進又遣張遼往河北募兵，共得千餘人。可是當張遼募兵尚未還時，京中的何進已因剿宦失敗而死，因此張遼所領兵盡歸董卓所有。董卓死時，張遼統兵歸屬於呂布，遷任騎都尉(相當於騎兵隊長，地位略低於將軍)。
不久，呂布爲李傕、郭汜等擊敗，張遼跟從呂布往東奔至兗州，爲曹操所敗後前往徐州。
建安二年(197年)，張遼任北地太守、魯相等職，時年二十八歲。
建安三年(198年)，呂布遣張遼與高順等攻破劉備， 但其後曹操破呂布於下邳，張遼率領呂布軍餘衆歸降，被拜爲中郎將，賜爵關內侯。
建安五年(200年)，袁紹派顏良襲擊白馬，曹操命張遼與關羽同爲解白馬之圍的前鋒，擊破袁軍。數有戰功，累遷裨將軍。 等到曹操擊敗袁紹的主力部隊後，另派張遼平定魯國諸縣。
招降昌豨
建安六年(201年)，張遼與夏侯淵同圍昌豨於東海，歷經數月，糧秣將盡，衆人商議先引軍而還，但張遼卻向夏侯淵說：“這些天以來，每次我們巡視圍城軍情時，昌豨就兩眼盯着我看。而且他的士兵所發射的箭日益稀
動漫遊戲版張遼少，此必是昌豨心懷猶豫，所以纔沒有力戰。我希望能挑試一下他，並與之洽談，倘若可以成功誘使昌豨下山，不是很好嗎?”於是命人向昌豨說：“曹公有命令，讓張遼來對你傳達。”昌豨果然下山與張遼對話。張遼便說：“曹公神智武勇，正在用他的仁德感化四方各派的勢力，先歸附的可以受大賞。”於是昌豨便答應投降。張遼知其肯降，於是隻身上三公山，入昌豨家中，並拜候其家人。昌豨見張遼如此坦誠相對，心中歡喜，便隨之往見曹操。
曹操先遣昌豨還東海，隨後訓責張遼說：“莽然隻身赴敵巢穴，這不是大將所爲。”張遼卻拜答道：“憑着明公達於四海的威信，我拿着聖旨，昌豨必然不敢害我，所以我纔敢去。”
攻破袁氏
建安七年(202年)，張遼從討袁譚、袁尚於黎陽時，累有功勞，行中堅將軍。
建安八年(203年)，曹操攻袁尚於鄴城，袁尚堅壁守壘，曹軍久攻不下。因此曹操採納郭嘉之計讓二袁自行內鬥而先還許都，同時令張遼與樂進攻拔陰安，把當地百姓遷移到黃河以南。
建安九年(204年)，張遼再次隨曹操攻打鄴城，這次終於攻破鄴城，張遼奉命別巡趙國、常山，招降了緣山一帶的賊衆及黑山孫輕等。 此後再度隨曹操攻擊袁譚。
建安十年(205年)，袁譚敗亡後，張遼受命安撫海濱一帶，徵破公孫度所置的營州刺史柳毅、與長廣太守何夔合兵討平矣平賊從錢等。曹操上表漢獻帝，稱張遼、于禁、樂進說：“武力強大，計謀周全，品性忠正，操守高潔，每次征戰，身先士卒，勇猛頑強，無堅不摧;親自擂動戰鼓，忘了疲倦。他們單獨領兵征討，統率全軍，撫慰將士，紀律嚴明，秋毫無犯;臨敵決策，沒有失誤。論功記職，應該給予顯要榮寵。”收復東萊諸縣後的張遼引軍還鄴城，曹操親自出城迎接，邀請他同乘一輛車，任命他爲蕩寇將軍。
建安十一年(206年)，張遼率軍攻打荊州，平定江夏諸縣，在臨穎屯兵，受封爲都亭侯。
建安十二年(207年)，曹操要征討在柳城的袁尚，張遼進諫：“許都，是天子所在的地方。現今天子就在許都，曹公北征甚遠，若劉表派遣劉備攻擊許，佔據它號令四方，您的形勢將會大去。”曹操策判定劉表必不能任用劉備，遂繼續出征。 行軍中途與敵軍相遇。張遼壯氣奮發，力勸曹操接戰，曹操十分欣賞張遼的鬥心，又看見烏桓的軍隊尚未排成陣形，於是將自己的麾旗授予張遼暫用，任命張遼爲前鋒出戰，於是張遼引軍突擊，大破烏桓，斬單于蹋頓於陣前。
平定叛亂
建安十三年(208年)，那時候荊州尚未安定，曹操命張遼屯軍於長社。軍隊臨出發之際，軍中忽有謀反者起事騷動，半夜驚亂起火，全軍盡受其擾。此時張遼對左右說：“不可亂動。這一定不會是全營盡反，必然是引起叛變之人，想藉此惑亂他人而已。於是傳令軍中，只要不是反亂者安坐勿動。而張遼則帶領親兵數十人，守立於陣中。不久情況穩定下來，軍中隨即擒獲首謀者，並將其殺除，動亂亦告平定。
赤壁之戰時曹操徙趙儼爲都督護軍，護于禁、張遼、張郃、朱靈、李典、路招、馮楷七軍。
建安十四年(209年)，廬江人陳蘭、梅成佔據氐等六縣作叛，曹操於是遣于禁、臧霸等討伐梅成，又命張遼督領張郃、牛蓋等討伐梅蘭。當時梅成詐降於禁，于禁引軍便還。不料梅成趁機會帶其軍衆往投陳蘭，二人轉入灊山自守。灊山中有天柱山，高峻約有二十餘裏，道路險狹，陳蘭等衆避於其上，山下進軍難通。張遼意欲登山進兵，諸將皆說：“此山道路險惡，我軍兵少，很難可以深入用兵。”張遼卻說：“這正是所謂‘一與一，勇者得前耳’(只有勇者可以前進)。”於是進至山下安營，起兵上山攻擊，終於斬下陳蘭、梅成首級，盡虜其衆。曹操論諸將功勞，說：“登上天山，踏過險峻，成功討取陳蘭、梅成，都是蕩寇將軍(張遼)的功勞。”於是增其邑，假節。
當曹操徵孫權無功而還時，任命張遼與樂進、李典等部領七千餘人馬屯守於合肥。
建安十八年(213年)，與臧霸同爲徵濡須口的前鋒，攻破孫權江西營，擒獲孫權都督公孫陽。
建安十九年(214年)，孫權大將呂蒙奇襲攻下廬江的皖城，張遼在增援途中得知皖城失守，無奈被迫退軍。
守衛合肥
建安二十年(215年)，曹操往徵張魯，先教護軍薛悌，付其一書署名急函往合肥予張遼，上有字樣雲“賊至乃發”(賊軍來到便拆信閱之)。不久東吳孫權率領十萬大軍進圍合肥，合肥諸守將乃共同拆信視曹操所教，信中言道：“若孫權軍來到，張、李將軍出戰;樂將軍守護軍，不得與戰。”諸將皆爲此感到疑惑。此時張遼便說：“曹公遠征在外，待其救兵來時，敵軍必定已攻破我們了。所以曹公教我等衆將，待敵軍未合便逆(迎)而擊之，摧折敵軍鋒銳，以安衆人之心，然後方可堅守。成敗之機，在此一戰，諸君何須疑惑?”
而李典亦與張遼持相同意見。於是張遼在夜間募集敢於逆擊敵銳之士，共得八百人，於是開剝牛支讓將士飽食，準備明日大戰。天尚未亮，張遼被甲持戟，獨自先登直陷敵陣，立殺數十人，斬其二將，並於陣中大呼己名，然後突擊衝入重壘，直至孫權麾旗之下。孫權見狀大驚，其衆手足無措，不知所爲，只得走登於高丘之上，僅以長戟自守而已。張遼見敵軍退避，便叱喝孫權，挑釁他下來對戰，孫權懼而不敢動;及至望見張遼所領之兵原來甚少，於是忽聚衆軍數重圍困張遼。張遼於吳陣左右突圍，直前急擊，其圍不禁衝撞而開，張遼將領麾下數十人得以脫出。但陣中尚有餘衆未出，皆號呼張遼道：“將軍捨棄我們了嗎!”張遼復又還入重圍，救出被困餘衆。孫權人馬皆望風披靡，無人敢抵擋張遼。
早晨戰至日中，吳軍銳氣爲張遼所奪，曹軍此時還城修業進行守備，衆心方纔安定下來，諸將對張遼所爲均表示歎服。孫權攻打合肥十餘日，始終攻不下來，於是還軍退師，張遼率諸軍乘勢追擊，幾乎捉住孫權， 江東名將陳武亦在此戰中被擊殺。 曹操聞此，對張遼的表現大加讚許，並拜張遼爲徵東將軍。 張遼大敗孫權一事震驚孫吳，計《三國志·吳書》連裴注中，述及此事的列傳有七篇。 據《魏略》記載，此役之後，江東小兒啼哭不肯止者，其父母只要嚇唬說：“張遼來了，張遼來了!”孩童就沒有敢哭泣的了。
建安二十一年(216年)，曹操再徵孫權。軍到合肥，曹操循行視察昔日張遼作戰的地方，讚歎良久。於是給張遼增兵，多留諸軍徙屯居巢。
建安二十二年(217年)，曹操攻濡須口，孫權請降，留夏侯惇、曹仁、張遼等屯居巢。
建安二十四年(219年)，關羽圍曹仁於樊城，適時孫權稱藩於魏，爲了讓孫權安心攻打荊州，於是曹操召張遼及諸軍悉數回救曹仁。 張遼尚未到達，徐晃已經打敗關羽。張遼便與曹操會師摩陂，曹操乘車出來慰勞他，並派他屯於陳郡。
加官晉爵
建安二十五年(220年)，曹操去世，曹丕即位魏王，改遷張遼爲前將軍，分封其兄張汛及一子列侯。不久孫權再叛變，張遼還屯合肥，並進爵都鄉侯。曹丕賜輿車予其母以示榮寵，並派兵馬送其家人到他駐軍的地方，又預先在當地告示張遼家人將要到臨，命令所有守軍出迎，衆軍士將吏都列隊出候拜迎張遼家人，看見此景的人均認爲這是十分榮耀的事。同年，曹丕稱帝，再封張遼爲晉陽侯，增邑千戶，並前二千六百戶。
黃初二年(221年)，張遼到洛陽皇宮朝拜，曹丕便引張遼會晤於建始殿，親問其昔日破吳時的情狀。張遼述說過後，曹丕向左右嘆息道：“簡直是古代的召虎啊。(召虎即召公是與方叔、尹吉甫、秦仲等齊名的東周大將。他因平淮夷所以被曹丕借作比喻。)”於是爲張遼建造屋舍，替其母興建殿室，當年跟從張遼突破吳軍陣營、臨時應募的一衆步卒，都被封虎賁。
病逝江都
黃初三年(222年)，孫權再次向曹魏稱臣。張遼奉命還屯雍丘，卻在此得病。曹丕遣侍中劉曄帶著太醫審視其疾，並令虎賁衛士們往來傳達張遼病況，爲張遼問病的使者經常在路上互相遇見。樑章巨《三國志旁證》中提到“漢三公病，遣中黃門問病。魏、晉則黃門郎，尤重者或侍中。(張)遼位未至公，而遣侍中，蓋寵之也。”可見曹丕如何重視張遼。
張遼之疾久未痊癒，曹丕命人把他接到自己的行營，自己則車駕親臨，握着他的手，賜給他御衣，太官每天來送御膳。病情稍有好轉後，張遼便返回其屯軍之所駐軍，忠於職守。
正當其時，孫權再次背叛曹魏，曹丕派張遼乘舟，與曹休到海陵臨江駐防。孫權知張遼至此，甚爲忌憚，敕令諸將道：“張遼雖然抱病，但仍是勇不可當的，千萬要謹慎在意!”同年，張遼與諸將同破吳將呂範。但他的病情卻也日漸嚴重，最後終於在江都逝世，一代名將就此隕落。曹丕爲之流涕，諡曰剛侯。其子張虎嗣任其爵。
黃初六年(225年)，曹丕追念張遼、李典在合肥之功，詔曰：“合肥一役中，張遼、李典僅以步卒八百人，破賊十萬之衆，自古用兵，未見如此。他們使賊衆至今仍氣爲之所奪，真可謂國之爪牙。現分封遼、典邑各百戶，賜一子爵關內侯。”
正始四年(243年)，張遼得享從祀於曹操廟庭。
歷任官職：郡吏，騎都尉，魯相，中郎將，關內侯，裨將軍，行中堅將軍，蕩寇將軍，徵東將軍，前將軍，內朝官，亞於車騎、驃騎大將軍。
人物評價
總評
張遼是三國時期的名將，他爲曹操統一北方南征北戰，出生入死，立下了汗馬功勞。直到晚年，他還帶病徵戰。張遼的一生幾乎全部是在戰爭中度過的。他先後跟隨曹操戰山東、討袁譚、滅袁尚、平遼東，在極端混亂的三國時代，結束豪傑並起、軍閥混戰的局面，使北方漸趨統一，這在歷史上起了進步作用的。
歷代評價
曹操：“武力既弘，計略周備，質忠性一，守執節義，每臨戰攻，常爲督率，奮強突固，無堅不陷，自援枹鼓，手不知倦。又遣別徵，統御師旅，撫衆則和，奉令無犯，當敵制決，靡有遺失。論功紀用，宜各顯寵。”
曹丕：“此亦古之召虎也。”
孫權：“張遼雖病，不可當也，慎之!”
《魏略》：“張遼爲孫權所圍，遼潰圍出，復入，權衆破走，由是威震江東。兒啼不肯止者，其父母以遼恐之。”
陳壽：“太祖建茲武功，而時之良將，五子爲先。”
杜佑：“張遼審計，立擒賊首，亦同料敵之義。”
張仲宣：“張遼運籌之方，可以歸之於先軌;關羽搴旗之效，可以論之於後塵。”
《全唐文》：“張文遠身先士卒，果立殊功。”
《舊五代史·列傳五·李存孝傳》：“(李)存孝每臨大敵，被重鎧橐弓坐槊，僕人以二騎從，陣中易騎，輕捷如飛，獨舞鐵楇，挺身陷陣，萬人辟易，蓋古張遼、甘寧之比也。”
《智證傳》：“魏將張遼，唐將王彥章皆有威名。當時小兒啼不止。其母呼兩人者名。而兒啼止。”
張預：“設若奮寡以擊衆，驅弱以敵強，又不選驍勇之士使爲先鋒，兵必敗北也。凡戰，必用精銳爲前鋒者，一則壯吾志，一則挫敵威也。故《尉繚子》曰：‘武士不選，則衆不強。’曹公以張遼爲先鋒而敗鮮卑，謝玄以劉牢之領精銳而拒苻堅，是也。”
王文鬱：“賊衆我寡，正當折其鋒以安衆心，然後可守，此張遼所以破合肥也。”
蘇籀：”錯捐金帶子輿臺，李典張遼安在哉。濟溺我應知大略，摧鋒人自得高才。“
洪邁：“張遼走孫權於合肥，郭淮拒蜀軍於陽平，徐晃卻關羽於樊，皆以少制衆，分方面憂。”
葉適：“孫權十萬攻合肥，守者七千。旁無近援，固已不自保。而遼乃募士八百，擊其未合，以至尾追，幾獲大丑。非操之智，無以使張遼;非遼之勇，而明亦不能自任。勝負成敗，蓋誠以人，不在衆寡。士常如此，則立於積衰甘弱之地，爲預怯莫前之說，以自附於明哲者，可察矣。”
陳元靚： “天造草昧，君子經綸。篤生晉侯，爲魏元臣。千載嘉會，一代偉人。風雲千載，孰繼後塵。”
郝經：“張遼、徐晃諸將壯猛有謀，亦關張之亞匹;然失身於操，終爲勇而無義。”
朱元璋：“王保保以鐵騎勁兵，虎踞中原，其志殆不在曹操下，使有謀臣如攸、彧，猛將如遼、郃，予兩人能高枕無憂乎。”
羅貫中：“諕殺江南衆小兒，張遼名字透深閨。才聞乳母低聲說，夜靜更闌不敢啼。”
黃道周：”魏圍昌豨，糧盡欲歸。遼請少緩，當中有機。屢視以目，發矢又稀。似可挑誘，因示德威。先附大賞，豨降不違。軍中忽亂，絕不驚疑。不反安坐，反者自知。有頃有定，首謀殺之。魏恐賊至，封教相遺。賊來開教，教意頗微。唯遼有識，力戰破圍。孫權敗走，安守合肥。爲將若此，方稱出奇。“
袁枚：“然而公始則霽雲斷指，繼乃公孫洞胸。小白未僵，大黃猶射。又典韋臨危之戟，橫貫數人。衝張遼已出之圍，再呼殘卒。淺色黃衫，蓋棺之衣早備。玄緌新篋，歸元之面如生。可以謂之勇矣，可以謂之烈矣。”
毛宗崗：“張遼之守合淝，其真大將之才乎!大將之才三：既勝而能懼，是其慎也;聞變而不亂，是其定也;乘機以誘敵，是其謀也。宜其爲關公之器重歟!惟大將不懼大將，亦惟大將能知大將。”
趙翼：“其以少擊衆，戰功最著者，如合肥之戰，張遼李典以步卒八百，破孫權兵十萬。”
曾國藩：“孫仲謀之攻合肥，受創於張遼;諸葛武侯之攻陳倉，受創於郝昭;皆初氣過銳，漸就衰竭之故。”
鄭觀應：“古之所謂將才者，曰儒將、曰大將、曰纔將、曰戰將。英布、王霸、張遼、劉牢之、曹景宗、高敖曹、周德威、擴廓貼木兒等，戰將也。”
王歆：“曹魏多名將，而張遼爲第一。從徵柳城，格斬蹋頓;並鎮合肥，突權麾下。以八百破十萬衆，賁育不過其勇也。合肥之戰，勝不僥倖，乃得‘急’、‘裂’二字。急者，料敵於先，乘敵不備，破敵未合。權以重兵來犯，以爲當者披靡，城守皆深溝高壘，不敢出應，是以惰將統驕卒。逆而擊之，安得不破?裂者，募敢死士，以寡凌衆，以強踐弱，前指渠魁，立奪三軍氣也。設權杖槊當道，被矢不退，小大之勢在，則遼必無功矣。不體天，不察地，不知我，不料敵，是權在合肥之謂也。遼既破賊，長屯居巢，以懾吳人，是魏武之能用人也。世多名將，鮮能終始，時移勢易，勝負難以逆料。而‘張遼雖病，不可當也’語，是真畏敵也。遼能全功，或端賴權之功耶?一笑。”
梅公毅：“爲將之道，膽欲大而心欲細;膽大則勇，心細則智，所以能戰勝攻取，即有不利，亦不至一敗塗地。三國時將材，可當此者，魏之張遼，漢之趙雲而已。”
韓兆琦：“不僅智勇雙全，而且爲人忠厚坦誠。在曹魏武將羣中，是一個堂堂正正的人格典範。”
軼事典故
公私分明
當年關羽投於曹操營下，張遼與關羽爲好友，曹操便派張遼問關羽去留之心，關羽表明只會跟隨劉備，張遼想到如果照實說給曹操，怕曹操殺關羽。但不說，又不是事君之道，便嘆息：“曹公，是如父親般的君上;關羽，是兄弟而已。”最後選擇了照實說給曹操。 此舉被後世認爲是爲臣下者懂分輕重、能識大體的表現，如南朝宋左僕射劉穆之曾說：“我蒙公(指劉裕)恩，義無隱諱，此張遼所以告關羽欲叛也。”尚書右僕射何尚之亦曾言：“臣思張遼之言，關羽雖兄弟，曹公父子，豈得不言?”
顧全大局
張遼曾與護軍武周不和，後來受胡質勸解，便與武周和好。 與李典、樂進等雖然有不和，但在面對東吳大軍之際，同樣能不計前嫌。
後世地位
張遼的軍事表現受歷代所尊崇。唐代李翰所撰《蒙求》中有“張遼止啼”一語。
建中三年(782年)，禮儀使顏真卿向唐德宗建議，追封古代名將六十四人，併爲他們設廟享奠，當中就包括“魏徵東將軍晉陽侯張遼”。 同時代被列入廟享名單的只有關羽、張飛、周瑜、呂蒙、陸遜、鄧艾、陸抗而已。
及至宣和五年(1123年)，宋室依照唐代慣例，爲古代名將設廟，七十二位名將中亦包括張遼。 在北宋年間成書的《十七史百將傳》中，張遼亦位列其中。另外，日本俗語中有所謂“遼來來(遼來々)”一語，正是來自張遼止啼的典故。
家庭成員
兄弟
張遼有一兄長，名爲張泛， 在魏國因爲張遼之功而被封侯(曹丕即王位文帝時，張遼轉封前將軍。朝廷分封其兄張泛及一子列侯)。
子孫
張遼有一子名張虎，張虎有一子名張統，也就是張遼的孫子。
墓址
張遼墓位於安徽省合肥市逍遙津公園內湖中島上，爲衣冠冢，現存墓冢，張遼陳列館、逍遙閣和渡津橋，園中有張遼持刀立馬的青銅塑像。
另外，據《宋高僧傳·卷十·唐揚州華林寺靈坦傳》載：“元和五年相國李公墉之理廣陵也……召居華林寺，寺內有大將軍張遼墓。”此段記載則稱張遼墓位於廣陵(今揚州市廣陵區)一帶的華林寺內。
文學形象
三國時繁欽作品《徵天山賦》，主要描寫張遼征討陳蘭、梅成時的狀況。賦題寫明：“丞相武平侯曹公東征，臨川未濟，羣舒蠢動，割有灊、六，乃俾上將蕩寇將軍張遼治兵南嶽之陽。”
張遼影視形象清末民初時期學者古直《曹子建詩箋》指出，陳思王曹植的作品《白馬篇》中的主角，是以張遼於207年征討烏桓時的形象爲創作原型的。南北朝時的文學作品中，庾信《哀江南賦》有“張遼臨於赤壁，王濬下於巴丘。乍風驚而射火，或箭重而回舟。未辨聲於黃蓋，已先沈於杜侯。落帆黃鶴之浦，藏船鸚鵡之洲”之句。元代雜劇中，張遼主要有兩個身份：一是呂布手下“八健將”之一，二是曹操的親隨軍師，更有“百計張遼”之稱。託名關漢卿所作的雜劇《關雲長千里獨行》中，張遼的開場白就已道出其出身：“筆頭掃出千條計，腹內包藏七字書。小官姓張名遼，字文遠。幼習儒業，頗看韜略之書。先曾在呂布之下爲健將，後在於曹丞相手下爲參謀。”而在不少雜劇劇目，張遼與許褚分別擔任曹操軍中重要的文武代表，二人經常作爲曹操的心腹愛將而並列。如《劉玄德醉走黃鶴樓》中有“曹操以雄兵百萬，虎將千員。左有百計張遼，右有九牛許褚，獨霸許，虎視中原”句，《諸葛亮博望燒屯》中則有“則仗着主公前關將張飛，那裏怕他曹操下張遼許褚，更共那孫權行魯肅周瑜”句。《三國志平話》中，張遼仍然擔任曹軍軍師，有“智囊先生”的稱號。
在小說《三國演義》中，張遼的歷程大概依循正史而爲。《三國演義》有兩個回目出現張遼的名字，分別是第五十三回《關雲長義釋黃漢升，孫仲謀大戰張文遠》，與及第六十七回《曹操平定漢中地，張遼威震逍遙津》。他先爲呂布部將，多番令曹軍陷於苦戰，其武勇連關羽亦甚稱道，他曾對張飛說：“此人(張遼)武藝，不在你我之下。” 後來呂布戰敗遭擒，張遼亦成爲戰俘，於白門樓上表現剛烈，罵呂布爲“匹夫”，大呼曹操爲“國賊”，視死如歸。曹操下令絞殺呂布後，劉備、關羽爲張遼求情，曹操便待張遼以上賓之禮。張遼感其恩情，於是投降，自此成爲曹操將領。 第二十五回中，曹操在下邳城外的土山上包圍關羽，張遼請纓勸說關羽暫降曹軍，以報關羽白門樓相救之恩。 關羽降曹期間，張遼一直擔任曹操與關羽之間的協調者與斡旋者。後來關羽過五關斬六將，被夏侯惇追趕糾纏，亦賴張遼趕至拆解二人紛爭，讓關羽可以順利離開曹營。 張遼跟隨曹操後，一直隨軍征討，不久參與官渡之戰以及平河北之戰，先後大戰張郃，斬蔣奇，大敗袁尚、沮鵠。 在追擊袁熙、袁尚時張遼受曹操任命，秉持軍麾，擔任首將，率領許褚、于禁、徐晃迎擊烏桓軍，張遼更親斬烏桓單于蹋頓，建立諸多戰功。
曹操南下追擊劉備於長阪時，張飛據橋拒守，曹操一時被其氣焰嚇退。張遼從後追上曹操，分析張飛只有一人，不足深懼，宜重新追擊。 赤壁之戰時，張遼與許褚一起擔任“護衛往來監戰使”，當孫權軍中的黃蓋以詐降計發動火攻時，曹操形勢艱險，張遼親載小舟渡曹操脫難，並射傷黃蓋。曹軍戰敗撤退期間，張遼一直護衛著曹操，爲其抵敵呂蒙、張飛，最後曹軍受關羽堵截，張遼的出現令關羽動故舊之情，放過曹操，曹操才得免於難。
赤壁戰後，曹操命張遼爲主將，引李典、樂進等守合肥，以御孫權。第五十三回中，孫權親臨合肥戰線，與張遼經歷多場戰爭，均未能攻克合肥，其將領太史慈使計派遣吳兵混入魏軍城中，打算結連張遼軍中的養馬後槽一起製造禍亂騷擾魏軍，而張遼則冷靜悉破策略，號令全軍不反者皆靜坐，沒多久副將李典便抓住了吳兵及後槽，張遼更將計就計引太史慈入城，對其伏擊，最後令太史慈傷重身死。 第六十七回，孫權乘曹操遠在漢中的時機，再次引軍進攻合肥，張遼在曹操密令的指示下，靈活調動軍隊，大敗孫權軍隊。
最後，張遼隨曹丕以大船征伐江東，軍隊被徐盛所擊敗。曹丕登岸逃亡時，吳將丁奉從岸邊殺至，張遼爲保護曹丕上前迎敵，卻被丁奉以箭射其腰，回營後不治身亡，曹丕厚葬之。及至魏將曹真、司馬懿主理對蜀戰爭之時，以張遼之子張虎及樂進之子樂綝二人爲軍鋒，可惜二人表現平庸。
