事態進一步惡化，格列高利準備北上與神聖羅馬帝國境內的諸侯會面，途徑意大利北部的卡諾莎城堡(城堡主人是托斯卡納家族的瑪蒂爾達女伯爵)。在這種內憂外患的嚴峻形勢下，亨利四世被迫妥協。他再也無法顧及自己高貴的國王身份，於1077年1月，決定冒着嚴寒前往卡諾莎覲見教皇，懇求他撤回開出教籍的敕令。與他隨行的還有他的妻子貝爾塔(薩伏依伯爵奧托和都靈女侯爵阿德萊德的女兒)、幼子康拉德(後來繼承了德意志國王(1087~1098)和意大利國王(1093~1098))以及少數僧侶、侍衛。當時統轄德國南部的王公貴族們理所當然地不予放行，亨利一行只好取道阿德萊德女侯爵也就是亨利的岳母處，希望通過她治下的一條經過阿爾卑斯山塞尼峯的山間小路到達卡諾莎。由於亨利此前曾經意圖與貝爾塔離婚，一度鬧的沸沸揚揚，導致阿德萊德與他的關係很不好。但最終看在女兒的情分上，女侯爵同意幫助這位處境艱難的君主，同時以調停者的身份前往卡諾莎。但向他索要了一筆高額的款項作爲回報。
經過漫長而艱難的跋涉之後，他們終於到達了這座修築在小山頂上的卡諾莎城堡。亨利讓車駕停在山腳下，脫下皮帽和靴子，身着苦修士的簡陋服裝，僅僅披上一件氈毯，這是亨利四世的懺悔形式，在隆冬時節赤足露頂(當時，羅馬教皇對逐出教會或違反教規的人，允許他們舉行各種不同形式的懺悔儀式，來贖取自己的罪行。其時間有長達幾年的。比如，有的赤腳露頭，在教堂門前向所有進入教堂的人懇切哀求，請他們代爲祈禱;有的用木杖打自己或由懺悔師來打，以 3000 杖抵一年的懺悔;有的赴聖地朝拜，或捐納鉅款等等，一直到教會滿意他的懺悔爲止。)希望籍此獲得赦免。爲使亨利得到更多的同情，貝爾塔也加入了懺悔儀式，她同其它隨行者一樣，免去冠帽除去靴襪，儘管這對貴族女性是無以復加的恥辱，但這位可敬的王后還是決定與丈夫共患難。在冰天雪地中亨利四世和隨行者赤足踏雪一步一步地走上山頂。
亨利四世此舉已是極盡卑微，但教皇卻緊閉城堡大門，遲遲不讓亨利進入。亨利夫妻一行人在嚴冬中赤足露頂，僅靠裹着氈毯取暖，凍得瑟瑟發抖。爲了保住皇帝寶座，亨利與妻子忍辱跪在城堡門前求饒，痛哭流涕以求寬恕。國王的狼狽景象格里高利七世都看在眼裏，他面臨着一個兩難的抉擇：同意赦免亨利四世，他就會失去一個 加強神權且實現改革的大好機會。但亨利四世的懺悔看似恥辱，其實也不失爲權宜妙計。因爲教皇根據教規將君主逐出教門，自然是合理合法的;而亨利果斷決定通過懺悔乞求赦免，同樣是有理有據，按照教規要儘可能地從寬對待。教皇此時也感受到了壓力，因爲這種卑微的懺悔勢必會給亨利四世帶來廣泛的同情與諒解。亨利四世等待覲見的同時，城堡內的一些教士和城堡主人瑪蒂爾達女伯爵開始向教皇求情。阿德萊德女侯爵目睹她的女兒女婿在城外受辱，自然不遺餘力地向教皇勸說，並與米蘭伯爵阿爾伯特等貴族共同爲亨利四世擔保。甚至連一些克呂尼派教士也被亨利此舉感動了，加入到求情者中。但大門一直沒有打開，據《教權紀事：卡諾莎》記載：在等待過程中，因爲過於寒冷，亨利四世幾次被隨從請求結束懺悔儀式，但都被他拒絕。隨從們唸完禱詞，得到許可後紛紛返回山下的宿營地中。在得到母親參與了勸說的口信後，王后也返回營地，陪伴在她幼子身邊。城堡外只剩下亨利四世等兩三人。大雪紛飛，地凍天寒，身爲帝王之尊的亨利帶着自己的妻子赤足披氈，據說一直在雪地站了三天三夜(也有一說，亨利一行人大多數時間其實都待在山下的村莊中等待教皇的赦免)，教皇才同意亨利四世進來見他。
亨利匍匐在教皇面前，展開雙臂，使全身呈十字形，向教皇淚流滿面地懺悔自己的罪過，然後呈上自己服從教皇權力的保證書和宣佈撤銷關於廢黜教皇法令的命令書。教皇並不滿意，他嚴厲地訓斥亨利四世，歷數他的種種罪行。亨利四世一一點頭認罪。看到曾經趾高氣揚的國王可憐到如此地步，在場的貴族和神職人員紛紛請求教皇赦免亨利四世。教皇格列高裏七世這位出身低微的手工匠的兒子直到讓亨利四世受盡了精神上的侮辱後才恩賜給這位懺悔者一個赦罪的吻，他同意不將亨利四世逐出教會，但是仍不恢復其國王的權力;在教皇和瑪蒂爾達女伯爵等人的見證下，亨利四世被要求寫下效忠教皇的誓詞並宣誓。
