趙構退位後，自稱不再問朝政，其實也干預一些政事。有一天，他去靈隱寺冷泉亭喝茶，有個行者對他照料得很殷勤，他打量了一番行者說：“我看你的樣子不像個行者。”行者哭着訴說道：“我本是一個郡守，因爲得罪了監司，被誣陷降罪，罰爲庶人。爲了餬口，得來此處投親，幹此賤活。”趙構當即說：“我明天替你去向皇帝說明。”回宮後果真對皇帝講了，要復他的職。幾天後他再去冷泉亭，見行者還在，他回宮後在宴飲時便怒容滿面。孝宗小心翼翼地問趙構爲何生氣，趙構說：“我老了，沒人聽話了，那行者的事，我幾天前就同你講了，爲何不辦理?”孝宗回答說：“我昨日已向宰相講起，宰相一查，說此人是貪贓枉法，免他一死已經寬大，再要復職實在不行。”
趙構卻不顧這些，說：“那叫我今後怎麼再見人，我已經答應他向你求情。”孝宗無奈，只得去對宰相說：“太上皇大發脾氣了，那人即使犯了謀殺罪，你也得給他復職。”宰相只得照辦。
趙構政治上昏聵，但是精於書法，善真行草書，筆法灑脫婉麗，自然流暢，頗得晉人神韻，明代陶宗儀《書史會要》稱：“高宗善真行草書，天縱其能，無不造妙。”其書法影響和左右了南宋書壇，後人多效法其書跡。
淳熙十四年十月乙亥日(1187年11月9日)，趙構病死於臨安行在的德壽宮，時年八十一歲，諡號聖神武文憲孝皇帝，廟號高宗。
趙構死後，棺木未下葬，直到淳熙十六年(1189年)三月丙寅日，才下葬於都城紹興府會稽縣之永思陵。宋光宗紹熙二年(1191年)，加諡號爲受命中興全功至德聖神武文昭仁憲孝皇帝。
