近代中國的海關長期把持在外國列強手中，他們控制中國海關的機構就是總稅務司署。1840年鴉片戰爭後，清廷被迫出讓各種通商貿易的權力，在通商口岸新設洋稅，專門對外國商船進行徵稅，負責徵收洋稅的海關爲了區別於以前的老關，因此又稱新關。1853年，英、法、美駐上海領事趁小刀會起義之機，奪取了通商口岸洋稅的徵收權力，從此中國海關開始進入列強把控時代。
總稅務司署的成立也不是一蹴而就的，有一個漸進的過程。1858年，英法聯軍攻陷大沽，清廷被迫簽訂《天津條約》及其附約《通商章程善後條約：海關稅則》。1859年初兩江總督何桂清內定李泰國爲各口海關總稅務司。李泰國剛就任總稅務司時，只控制了江海關的洋稅徵收，但是很快他就開始籌建以稅務司爲核心的海關制度，力圖把各口的新關都置於總稅務司的控制之下。1859年，10月，李泰國新設粵新關以及潮新關。並且他還開始制定總稅務司的人員編制以及經費預算。按照李泰國的設想，總稅務司署包括總稅務司一人，委員若干，幫辦寫字一人，中國寫字先生三人，差役十人，共計薪俸支出25920兩。1861年，赫德開始接替李泰國代理總稅務司職務，各口陸續新設的海關多達十一處。從1864年初開始總稅務司署這個名稱開始正式被使用，並且一直延續下去。這一名稱的使用也標誌着總稅務司署的最終形成。
總稅務司署最初是設在上海，從1865年冬開始由於總稅務司署的負責人赫德一直在北京活動，因此從這一年開始總稅務司署也隨之遷往北京辦公，一直到1929年。總稅務司署在京期間，總共歷經了四任總稅務司，分別是赫德、裴式楷、安格聯、易紈士，其中赫德在位時間最長，他控制了中國海關長達半個世紀之久。總稅務司署雖然主管的是關稅徵收，但是也插手中國的外交活動。例如1885年赫德插手中法談判，致使中法戰爭中國不敗而敗。1886年，赫德又與英國外交部串謀逼迫清政府簽訂《緬甸條款》，使中國喪失緬甸。另外，總稅務司署還辦理洋務，具有代表性的就是辦理郵政。1896年清廷正式委託總稅務司署辦理中國郵政，在總稅務司署內設郵政總局，由赫德兼任總郵政司。這樣中國近代的郵政事務也逐漸開辦起來。
1927年南京國民政府成立，命令總稅務司署遷往南京，但是由於總稅務司署的抵制，實際上遷往了上海。1949年中華人民共和國成立，總稅務司署才被廢除。
