北魏普泰元年(公元531年)七月，名重北方的弘農楊氏慘遭滅門，包括前太保楊椿、司空楊津在內一百多口被控制朝政的爾朱氏“無少長皆殺之”，輿論震動，“朝野聞之，無不痛憤”。曾經“一門七郡太守，三十二州刺史”的顯赫世家，僥倖逃脫的不過數人而已。
楊津的一個兒子叫楊愔，身在鄴城，被相州刺史劉誕抓起來，派人押送到洛陽，途中押送的人跟着楊愔一塊逃往了。國破家亡，身在通緝之列，舉目四望，盡是爾朱勢力，楊愔逃亡路上幾經輾轉。不久，東道大行臺渤海王高歡在信都(今河北省邢臺市)公開反對爾朱氏，楊愔前往轅門投遞名刺。在兩人的第一次會面中，楊愔首先讚揚高歡的“義舉”，然後訴說家門之禍，聲淚俱下，高歡都跟着難過起來，隨即任命楊愔爲行臺郎中。
世家出身的楊愔並非一般紈絝子弟，年少成名，卻能低調做人。他字遵彥，人們多直接稱爲楊遵彥，小名秦王，博學能文，早年拒絕出仕。爾朱榮曾想把自己的女兒嫁給他，楊愔裝病推辭，與另一位文壇領袖邢邵在嵩山隱居。
普泰二年(公元532年)正月，高歡攻佔鄴城，俘虜囚禁楊愔的劉誕，升楊愔爲大行臺右丞。這一時期丞相府中的檄文教令多由楊愔出自楊愔手筆。二月，高歡與爾朱氏在韓陵展開決戰，楊愔作爲文臣，衝殺在前，以致當時的人們評論說：“楊氏儒生，今遂爲武士，仁者必勇，定非虛論。”
四月，高歡佔領洛陽，爾朱氏敗亡。楊愔辭職回到華陰老家，準備重新安葬被殺的楊家衆人。由高歡扶立的孝武帝元修已下旨給楊家平反，大加追封，“一門之內，贈太師、太傅、丞相、大將軍者二人，太尉、錄尚書及中書令者三人，僕射、尚書者五人，刺史、太守者二十餘人”，極盡哀榮，“古今未之有也”。這年冬，楊家出殯，“吉凶儀衛亙二十餘裏，會葬者將萬人”。當天風雪交加，楊愔“跣步號哭”，聞者哀之。
辦完喪事不久，楊愔又被高歡叫到晉陽，繼續擔任大行臺右丞，但是不久發生的一件事情使楊愔不得不再次逃亡。楊愔有個倖存下來的堂兄楊幼卿(幼卿應該是他的字，名字無記錄)任岐州刺史，上書得罪孝武帝，被孝武帝給殺了。親人本來就不多了，又被殺一個，楊愔一下子就病倒了，前往雁門郡溫泉療養。
楊愔離開後，高歡的一個寵臣郭秀接任大行臺右丞，嫉妒楊愔的才能，就寫信對楊愔說你要被你的堂哥連累了，高丞相準備把你送到皇帝那邊，還假惺惺地勸楊愔趕緊離開。聽到這個消息後，楊愔也慌了，畢竟剛剛被滅過門，難免有些草木皆兵。於是楊愔把衣服扔在河邊，製造跳河自殺的假象，然後改名劉士安，第二次上嵩山隱居，後來覺得山上也不安全，離洛陽太近，又一路向東，離開大陸，躲進了田橫島。
在島上楊愔當起了教書先生，沿海百姓見面都稱他劉先生。當地的太守王元景知道楊愔的真實身份，還有意幫他隱瞞。
兩年後，高歡得知楊愔並沒有投河自殺，就派楊愔的堂哥楊寶猗帶着自己的親筆信前去召撫楊愔。楊愔回到太原後短暫地擔任太原公高洋的司馬，這段經歷加深了楊愔與高洋的關係。不久楊愔第三次出任大行臺右丞，封華陰縣侯，後又前往鄴城的東魏朝廷擔任給事黃門侍郎。高歡還把自己的一個女兒嫁給楊愔，結爲親戚。此後十年間，楊愔在鄴城官場逐步升遷至吏部尚書，長期負責朝廷的人事。
公元547年正月，一代梟雄高歡去世，長子高澄繼續掌權。在高澄與其弟高洋密謀稱帝的過程中，楊愔發揮了重要作用，深得二人信賴。
八月二十七日，高澄與楊愔及散騎常侍陳元康、黃門侍郎崔季舒在府中籌備稱帝事宜，遭遇刺殺，高澄、陳元康喪命，崔季舒躲進廁所，楊愔倉促脫身，混亂中丟掉了一隻鞋。高洋返回大本營晉陽安撫人心，留楊愔在鄴城穩定局勢，期間高洋與楊愔多次密書往來。
公元550年五月，高洋正式即位，建立北齊，是爲文宣帝。楊愔自吏部尚書升任尚書右僕射，同時高洋還把自己的妹妹太原長公主嫁給他。楊愔第一次娶的高歡女兒是庶出的，而這位太原長公主就厲害了。她是高歡的二女兒，與高澄、高洋及常山王高演、長樂王高湛都是婁太后親生，527年被魏孝靜帝立爲皇后，高洋稱帝后封公主。能娶到皇后在當時絕對是殊榮，即使在整個中國古代史上能有幾人。
高洋在位前期還能勤于軍政，後來“肆行淫暴”。有天，高洋突發奇想，讓楊愔拿着“廁籌”(古時用來擦屁股的竹條或木條)進宮，又沒理由地用馬鞭抽打楊愔，血染衣袍。這還不算完，高洋還想拿刀子扎楊愔的小腹，嚇得旁邊的崔季舒趕緊上前攔下，再或者將楊愔仍進棺材裏。
雖然高洋昏暴，但是能把政務交給楊愔處理。楊愔升尚書令，封開封王，(成爲弘農楊氏獲得王爵第一人)，居宰相之位，把各項政務處理得井井有條，而且博聞強記，風采出衆，不報私怨，提拔賢能，望重一時，對北齊前期的發展作出重要貢獻，在當時存在着“主昏於上，政清於下”的說法。
公元559年十月，高洋病逝於晉陽，太子高殷即位，楊愔居四輔政大臣之首。此時高洋的弟弟太師常山王高演、大司馬長廣王高湛得太皇太后婁氏支持(高洋剛去世的時候婁太后就想立高演爲帝，不過沒有成功)，輔政大臣中的司空平秦王高歸彥也向高洋兄弟靠攏，與支持幼主高殷的其他三位輔政大臣關係微妙。這時候，楊愔又決定撤銷高洋晚年的各種濫加封賞，雖然自己自己首先辭去開封王作爲表率，但還是得罪許多鮮卑勳貴。這些人相互勾結，給楊愔準備了一場“鴻門宴”。
公元560年二月二十三日，高演在尚書省舉辦宴會，邀請百官參加，提前埋伏下親衛。在去參加宴會前，有人勸楊愔不可不防，但楊愔認爲自己所做都是爲了國家，對於高演的邀請自己沒有不去的道理。
酒行三巡，伏兵突出，拳棒交加之下，楊愔頭破血流，一隻眼被打瞎。拿下楊愔等人後，高演、高湛、高歸彥及鮮卑勳臣賀拔仁、斛律金押着楊愔突入皇宮，在婁太后的支持下，強迫幼主高殷承認政變的合法性。這時候，婁太后希望保下自己女婿的性命，但高演與高湛卻不想留下妹夫不，楊愔慘遭殺害。
自古以來，削藩都是件危險的事情，如果在位皇帝強勢，尚能控制局面，一旦幼主在位，異姓宰相極易被同姓親王反噬，漢文帝尚有七國之亂，明惠帝更遭靖難之變。正如楊愔在被捕前所說：“尊天子，削諸侯，赤心奉國，何罪之有!”事後婁太后出席楊愔的葬禮，給楊愔被打瞎的那隻眼做了一隻黃金眼補上，說：“楊郎忠而獲罪。”
成王敗寇，是非自在人心。楊愔死後，接替他擔任宰相的是趙彥深，能力比不上楊愔，當時名士陽休之談論二人，說：“將涉千里，殺騏驥而策蹇驢，可悲之甚。”自此，主昏於上，政亂於下，北齊王朝江河日下。
隨着楊愔的死，弘農楊氏退出北齊政治舞臺。而在北周，楊家的故事剛剛開始。
