岳飛被供奉於廟宇，享千年的煙火;秦檜被鑄成鐵人，在岳飛墓前長跪不起。然而在當時，岳飛作爲朝廷欽定要犯，名聲不如後來顯赫，與之迅速劃清界限的有之，檢舉、揭發者有之，爲求個人榮華富貴而落井下石者亦大有人在。
先說說他的僚屬姚嶽。南宋初，陝西陷落，姚嶽逃奔四川，於紹興二年(1132年)考中流寓進士(在寄居地考上進士)。當時，岳飛任知潭州兼權荊湖東路安撫使、都總管。岳飛在一次偶遇姚嶽後，對其非常賞識，立即闢爲幕僚，引爲親信。後來，岳飛獲罪，姚嶽卻極力避嫌，矢口否認曾爲岳飛屬官。爲了進一步與岳飛劃清界線，他還神經兮兮地向宋高宗上書請求將地名中有一“嶽”字的嶽州改爲純州，其節鎮岳陽軍改爲華容軍。不想，宋高宗竟然“從諫如流”，接受了這一堪稱“史上最荒唐的建議”。《宋史·本紀·高宗》載：“(二十五年六月)癸卯，以言者追譖岳飛，改嶽州爲純州，岳陽軍爲華容軍。”看來，有怎樣的昏君，就有怎樣的佞臣。
姚嶽之類，在南宋初的官場，不是少數，有些人甚至助紂爲虐地迫害岳飛家屬。據南宋王明清《玉照新志》記載，岳飛被殺害後，除岳雲隨父遭冤殺外，其餘子孫親屬被流放到蠻荒之地，朝廷每月僅給少量米糧，條件惡劣，生活艱苦。即便是對於這樣遭受滅頂之災的家庭，當時仍有一位漳州知州上書，建議朝廷取消對岳飛親屬僅有的一點米糧供應，以斬草除根，真是卑鄙齷齪至極。難怪王明清在書中評論道：“士大夫爲官爵所釣，用心至是，可謂‘狗彘不食其餘’矣!”
不過，還是有一些一身正氣的士大夫，敢於向邪惡說不。
樞密院編修胡銓上書宋高宗，請求斬秦檜，爲岳飛鳴冤雪恥，結果被秦檜貶謫海南。布衣劉允升、知浹紛紛上書朝廷，要求釋放岳飛，被秦檜及其黨羽下大理寺處死。上至朝官同僚，下至布衣百姓，他們都齊了心似的爲岳飛鳴冤，明知山有虎，偏向虎山行，他們並無絲毫畏懼和退縮，這既體現了他們不懼強權的勇氣，也體現了岳飛在士大夫和老百姓心目中的地位。
處於中間地帶的人又如何呢?如韓世忠，作爲與岳飛、張俊同爲南宋“中興四將”之一的他，與岳飛交情還不如同張俊深厚，張俊助秦檜構陷岳飛，韓世忠卻始終不相信岳飛謀反。《宋史·岳飛傳》載，岳飛繫獄，韓世忠抱不平，秦檜說：“岳雲寫給張憲的策反信雖未查明白，其事體莫須有。”韓世忠說：“莫須有三字何以服天下?”這說明，韓世忠雖不偏袒岳飛，但他心存正義，希望看到證據。
就連羈押岳飛的獄卒都伸出正義之手。獄卒隗順，非常同情岳飛遭遇，岳飛遇難後，他將岳飛屍體偷偷抱出，掩埋於杭州棲霞嶺，他擔心被發現獲罪，一直不敢聲張。臨死之際，他才把兒子叫到跟前，告訴兒子偷埋岳飛一事，還說：“將來岳飛必有昭雪的一天，到時朝廷若雪此冤案，必懸賞求岳飛遺骨，屆時你可向官府如實相告，墳上植有兩棵橘樹，岳飛身上有他原來佩戴的玉環，棺上鉛筩刻有‘大理寺’字樣，均是我埋葬時特意做的記號。”紹興三十二年(1162年)，宋孝宗繼位，隨即爲岳飛平反，依禮改葬，不知原葬處，果然懸賞求屍。隗順的兒子報告，才使岳飛之墓堂堂正正地出現在後人面前。
