二戰臨近結束時，如何處理罪孽深重的納粹分子在同盟國內部引起激烈爭論，有人主張活埋，有人主張不經審判就處決，最後主張進行公開、公平、公正審判的觀點獲得了勝利。用法律讓罪人服罪、以公正培育正義、以理性鞏固和平或許更爲有效。
設立國際軍事法庭的建議曾在同盟國內部引起激烈的爭論。蘇聯人認爲，所有穿過納粹制服的德國人都應該槍斃，至少應該讓他們到西伯利亞服苦役。至於黨衛軍，也許活埋是個更好的方式。
甚至連法治傳統悠久的英國也建議把第三帝國的主要戰犯不經審判就處死。英國政府認爲，這些人在策劃發動第二次世界大戰時，就給自己簽發了有罪判決書並送達了死刑執行令。
但美國聯邦最高法院大法官羅伯特·傑克遜堅持必須舉行一次公開、公平、公正的審判，他尖銳地指出：“如果你們認爲在戰勝者未經審判的情況下可以任意處死一個人的話，那麼，法庭和審判就沒有存在的必要，人們將對法律喪失信仰和尊重，因爲法庭建立的目的原本就是要讓人服罪。”這位雄辯的法官最終勝利了，歷史上第一個國際法庭也隨之誕生。
美國大法官傑克遜力排衆議，主張通過建立國際軍事法庭讓罪人服罪。最後他勝利了，歷史上第一個國際法庭也隨之誕生。
1943年10月，反法西斯戰爭大局已定，蘇美英三國外長聚首莫斯科，討論通過了《關於希特勒分子對其所犯罪行責任問題的宣言》。宣言宣告，戰犯“將被押解回犯罪地點，由他們所曾迫害的人民予以審判”。
1943年10月30日，蘇、美、英三國簽署的《莫斯科宣言》規定，戰後將把戰犯押往犯罪地點，由受害國根據國內法審判。
1945年2月，德意志第三帝國瀕臨崩潰，雅爾塔會議公報中重申要公正而迅速地懲辦一切戰爭罪犯的宗旨。
1945年7月至8月，歐戰結束後，蘇美英三國首腦聚首柏林西南哈韋爾河畔的波茨坦，簽署了《波茨坦會議議定書》，其中包括設立軍事法庭審判戰犯的條款。
1945年8月8日，蘇美英法四國政府在倫敦正式締結了關於控訴和懲處歐洲軸心國主要戰犯的協定，通過了國際軍事法庭憲章。憲章共30條，對設置法庭的目的、任務及法庭的機構、管轄權等一系列問題作出明確規定。蘇、美、英、法四國簽署的《倫敦協定》和《歐洲國際軍事法庭憲章》進一步規定，由四國各指派一名法官和一名預備法官組成國際軍事法庭，對無法確定其具體犯罪地點的納粹德國首要戰犯進行統一審判。
