法國在1860年1月與英國簽署商務條約，確認了英方理查德·科布登與法方米歇爾·舍瓦利耶的自由貿易協議，令法國工業遭遇突如其來的外國貿易競爭。保護主義者與天主教徒都發現，絕對道德主義(moralabsolutism)有時能夠滿足他們的利益與目標，但拿破崙的“道德政策”明顯地令他們受損。
反對勢力的壯大
拿破崙開始放鬆對言論的鉗制。1860年11月24日，他容許元老院和立法團動議和自由討論他的發言;報章可以出版國民議會的辯論。同時，拿破崙憑藉報章抗衡日益增長、反對皇帝對意大利政策的天主教反對勢力。
政府多數派開始顯示逐漸獨立於皇帝之跡象。1861年，皇帝失去了在立法團休會期間向外借款的權力;財政預算案可以分段通過，而不需要以整筆金額通過。這成爲了反對派對抗皇帝的新工具。往後的事件也正中反對派的下懷。
法國只能再次令意大利與波蘭的人民失望。1863年，波蘭起義發生，後來被沙俄政府鎮壓。這些挫折促使天主教徒、自由與共和主義者等反對派組成自由派聯盟(Unionlibérale)。在1863年的選舉中，反對派贏得四十席。其領袖阿道夫·梯也爾馬上要求“必需的自由”。
拿破崙難以誤解以上法國民意的表現，而且他在外交的挫敗也表示他不能遏止如此的意見。他撤換政府部長，又任命反教會的教育部長，表示他嘗試與左派改善關係。歐仁·魯埃擔任國務院總理，被稱爲“副皇帝”。
梯也爾之派別是憲法所容許。以維克多·雨果爲首的特赦或自願流亡的共和分子也是不願妥協的反對勢力。所以，先前的統治階層正在顯示出他們想再從政的決心。這種資產階級的政治運動可能會散播到大衆，威脅拿破崙的統治。不過，他認爲只要像以前般獲得工人階級的支持，就可以鞏固自己的權力。
外交上的連番失利
1864年，法國皇帝得到保皇黨的支持後，拒絕了所有自由派的要求。這個時候，美國內戰接近尾聲，法國工業危機即將停止。9月15日，法國政府與教皇領地達成協議。前者承諾以衛軍防止意大利攻打羅馬邦。10月30日，普奧兩國則在戰爭中擊敗丹麥，共同管理石勒蘇益格-荷爾斯泰因。暫時平息了該地的問題。
拿破崙維持極具野心、卻屢見敗績的外交政策。1857年，法國堅持與英國結盟，借亞羅號事件發動了第二次鴉片戰爭，迫使清政府開放更多中國港口予西方商人。1861至63年，法國積極在交趾支那和安南建立殖民地。
1863年，波蘭起義發生。拿破崙公開支持波蘭人的意願，但完全沒有軍事支持，反而僅僅招來俄國的憤恨。
1863年，拿破崙曾經考慮過干預美國南北戰爭，但最後放棄計劃，把焦點轉向美國南鄰墨西哥。該年，法國軍隊佔領墨西哥城，並擁立奧地利哈布斯堡成員馬克西米連大公爲帝，建立墨西哥第二帝國。但是，南北戰爭在1865年就結束。由於美國明確表示會干預墨西哥問題，甚至向墨西哥的共和派提供軍備，故此拿破崙放棄了馬西米連諾。1867年，孤軍作戰的馬西米連諾被捕，最後被槍斃。奧地利皇室自然深感怨恨。
1863年，波蘭、石勒蘇益格與荷爾斯泰因和意大利的人民都要求有更多權利。面對着波蘭帶來的窘態，拿破崙惟有再次提出總是因爲時機不佳而毫無效果的權宜之計——建立議會。這次他還是失敗——英國不接受國會的理念，而保守的奧地利、俄羅斯與普魯士堅持專制統治，絕對不會給威尼西亞與波蘭自由的機會。
然而，法國的形勢因普魯士在德國稱雄而變差。1866年，普魯士在普奧戰爭取勝，統一了德國北方諸邦。法國在德之影響力消失。1865年，拿破崙三世與普魯士宰相俾斯麥在比亞里茨達成協定。對方模糊地保證如若法國在戰爭中保持中立而普魯士取勝，普方將讓法國得到德國西部領土。結果，普魯士是取勝了，但法國一無所得，反而多了一個強鄰。
拿破崙未能取得萊茵河地區的領土，在戰爭後企圖願望成真。他向普魯士要求得到原本俾斯麥承諾給出的領土，或是盧森堡，甚至加上比利時。俾斯麥把他的提議公開，結果令拿破崙出醜。1867年，盧森堡在包括法國之內的數個歐陸國家保證下，獲得中立的地位。拿破崙一無所得，反而令法國更形孤立。
