蘇聯大清洗使得蘇聯損失了圖哈切夫斯基，布留赫爾，葉戈羅夫等一大批軍事將帥，曾經讓歐洲震顫的蘇聯紅軍被一片陰雲籠罩，而一個幸運兒卻三次在大清洗中逃過了槍決，後來還在二戰中屢立戰功，成爲了蘇聯元帥，他就是以蘇聯元帥之身出人波蘭國防部長的羅科索夫斯基。
羅科索夫斯基是一位富有傳奇色彩的二戰名將，他不但是蘇聯元帥，在蘇軍中擔任過多種要職，而且曾任波蘭部長會議副主席兼國防部長，獲得過波蘭元帥軍銜。他在斯大林格勒和庫爾斯克會戰中的傑出功績，使敵人聞風喪膽。
1896年12月21日，羅科索夫斯基生於俄羅斯普斯科夫州大盧基市，母親是俄羅斯人，但父親是波蘭人，因此他與波蘭有着密切的聯繫。
羅科索夫斯基年僅14歲就成了孤兒，不得不以當建築工人餬口度日。1914年，年僅18歲的羅科索夫斯基進入沙俄軍隊服役，在這一年的年底被提升爲軍士，參加了第一次世界大戰。十月革命爆發後，他於1918年參加了赤衛軍，並於1919年加入了共產黨。國內戰爭期間，他歷任騎兵連、營、團長，因在同白衛軍的作戰中表現英勇而兩次榮獲紅旗勳章。1930年提升爲騎兵師長，1936年升爲騎兵第5軍軍長。
1937年，在席捲蘇聯全軍的清洗浪潮中，羅科索夫斯基也未能倖免，他因“騎兵軍的供應工作管理混亂”的莫須有罪名而被逮捕，遭受了拷打併被投入監獄，直到1940年才被釋放出獄，重新開始工作。這一年11月，他出任駐烏克蘭的機械化第9軍軍長。
蘇德戰爭爆發後，羅科索夫斯基的軍事才華得以充分顯示。1941年7月11日，即戰爭爆發後僅20天，他升任西方面軍第16集團軍司令，率部參加了莫斯科保衛戰。在此次會戰中，他在沃洛科拉姆斯克方向首先以縱深反坦克防禦，有效地抗擊了敵軍的坦克突擊，隨後在反攻時，在集團軍內建立了兩個快速集羣，把正面突擊同迂迴包圍巧妙地結合起來，將蘇聯軍事學術的重要原則加以創造性地發揮和運用，取得了重大戰果。
1942年7月，羅科索夫斯基勝任布良斯克方面軍司令，9月調任頓河方面軍司令，參加斯大林格勒會戰。在會戰的反攻階段，他指揮部隊同西南方面軍和斯大林格勒方面軍部隊，突破敵防禦，隨後在頓河和伏爾加河之間地段包圍了敵重兵集團。1943年1月8日，羅科索夫斯基要求德第16集團軍司令保盧斯將軍投降，但遭保盧斯拒絕。兩天以後，蘇軍發動進攻，最終包圍並全殲了保盧斯的部隊。
1943年2月，羅科索夫斯基調任中央方面軍司令，在庫爾斯克會戰中率部挫敗了德軍的反撲，並在反攻中粉碎了敵奧廖爾集團。他在會戰期間組織實施的1943年7月5日的炮火反準備，以及同年8月底該方面軍實施的兵力兵器由謝夫斯克向格盧霍夫方向的機動，顯示了高超的軍事指揮藝術，爲蘇聯軍事學術的發展作出重要貢獻。
庫爾斯克會戰勝利結束後，羅科索夫斯基於1943年10月任白俄羅斯方面軍司令，1944年2月任白俄羅斯第一方面軍司令，率軍向華沙挺進。但是，正當蘇軍兵臨華沙城下，波蘭地下抵抗組織舉行抗擊德國佔領的華沙起義之時，斯大林卻下令讓蘇軍停止行動的，沒有對起義者作出響應，坐視華沙起義的失敗。羅科索夫斯基因此而受到外界的嚴厲指責，他辯解說，部隊由於連日征戰，已經筋疲力盡，不得不進行休整，因此無法向起義者提供幫助。他還表示華沙起義實際上只是波蘭地下抵抗組織耍的政治手腕。這件事招致了波蘭人民的強烈不滿，成爲蘇波兩國的歷史積怨，對以後蘇波關係的發展產生了極爲不良的影響。
1944年11月，當東歐戰事快要結束時，羅科索夫斯基調任白俄羅斯第2方面軍司令，白俄羅斯第1方面軍司令一職改由朱可夫擔任。斯大林作出這一調整的初衷可能是想讓朱可夫獨享攻佔柏林的榮譽，但實際上羅科索夫斯基和科涅夫後來也都率軍參加了柏林戰役。
1945年6月24日，是羅科索夫斯基一生中最爲光輝的日子，這一天，他在莫斯科紅場主持了勝利閱兵式，率領紅軍接受了斯大林的檢閱。在這次閱兵式上，紅軍戰士將在戰場上繳獲的數百面德軍軍旗擲到了列寧墓前，重演了歷史上俄軍將繳獲的拿破崙軍旗擲到亞歷山大一世沙皇腳下的光輝一幕，閱兵儀式達到了高潮。
羅科索夫斯基以性格倔強、敢於堅持己見而著稱。他曾在政治風波中被捕入獄，深切體會到得罪斯大林將意味着什麼，但獄中的這段經歷非但沒有使他變得謹小慎微，而且將他磨鍊得更加堅強。
在1944年5月的一次會議上，羅科索夫斯基告訴斯大林他準備同時在兩個地段突破敵軍的防禦，斯大林聽後表示應該集中兵力於一個地段，羅科索夫斯基這時並沒有像絕對多數的蘇軍將領那樣對斯大林言聽計從，而是堅持說在兩個地段同時實施打擊更爲可取。斯大林有些不耐煩，讓他出去好好考慮一下再回來。
羅科索夫斯基到了隔壁房間，但無論如何也無法說服自己，他回到會議廳，告訴斯大林，“同時在兩個地段實施打擊更爲可取，斯大林同志。”斯大林再次反駁說應該集中兵力實施一次打擊，但羅科索夫斯基仍堅持己見。隨後會場出現了長時間的靜默，斯大林讓他再出去考慮一下，不要過分固執。
這次莫洛托夫和馬林科夫也隨他一同出去，嚴肅地警告他頂撞斯大林的危險性。馬林科夫嚴厲地命令道：“同意斯大林的觀點，其他什麼也不要講。”他們回到了會場，斯大林問羅科索夫斯基把問題想清楚了沒有，羅科索夫斯基說他認爲還是在兩個地段同時實施打擊更好些。斯大林問道：“那麼依你的觀點，應以哪一次打擊爲主?”羅科索夫斯基回答說兩次打擊同樣重要。會場再次出現靜默。羅科索夫斯基知道，這通常是斯大林爆發狂怒的前兆。斯大林沉默了很久，最後說道：“難道真是同時實施兩次打擊更好些嗎?”他最終同意了羅科索夫斯基的計劃。這是斯大林被別人說服少有的幾次例外之一。
事實證明，羅科索夫斯基的這個具有獨創性的計劃，即在“巴格拉季昂”戰役中以白俄羅斯第1方面軍部隊同時實施兩次強大的向心突擊，不但突破了敵堅固防禦陣地，而且合圍並殲滅了敵軍6個餘師，爲爾後蘇軍解放明斯克，重創敵重兵集團，進而解放白俄羅斯全境和波羅的海沿岸地區，將戰線推進到波蘭境內創造了極爲有利的條件，顯示了羅科索夫斯基高超的統帥藝術。
第二次世界大戰結束後，羅科索夫斯基任蘇聯北部軍隊集羣司令。由於他具有波蘭血統，1949年10月被安排擔任波蘭人民共和國部長會議副主席兼國防部部長，獲波蘭元帥軍銜，並被選爲波蘭統一工人黨中央政治局委員、議會議員。但此後波蘭反對蘇聯控制的鬥爭日趨激烈，而羅科索夫斯基擔任波蘭國防部長一職被波蘭人視爲蘇聯控制的象徵。1956年，蘇聯被迫將他召回，回國後任蘇聯國防部副部長，1957年起兼任總監察長。1962年起任國防部總監組總監。1968年8月3日，羅科索夫斯基在莫斯科去世，葬於紅場克里姆林宮牆下。他生前曾兩次榮獲“蘇聯英雄”稱號，並獲蘇聯“勝利”最高軍功勳章。
