在福建巡撫任上，張伯行兢兢業業，明察秋毫，抑惡揚善，造福百姓，使得全省風氣大變，官清民樂。
張伯行在福建巡撫任上爲民做了很多好事，最主要的就是買糧撫民。福建地方人多地少，每年的糧食要從他省購買，但前幾任官員從不過問此事，致使奸商乘機囤積居奇，賤買貴賣，牟取暴利。百姓則深受其害，叫苦不迭。張伯行經過調查，弄清原委之後，當即決定由政府從江西等地買來糧食，再平價賣給百姓。這樣一方面使百姓免受奸商盤剝，另一方面也可以賺些錢用在下一年買糧濟民上。此外，他還以身作則，捐獻衣物錢財，賑濟一些受害的百姓。在他任職期間，百姓沒有因災荒和飢餓而背井離鄉。
到康熙四十八年，張伯行奉旨調任江蘇巡撫，福建的百姓痛哭相送，如失青天。赴任後，張伯立即發佈檄文《禁止饋送檄》，嚴禁下屬饋送錢物，以整頓當時日益盛行的貪腐之風。文中寫道："一黍一銖，盡民脂膏。寬一分，民即受一分之賜;要一文，身即受一文之污。雖曰交際之常，於禮不廢。試思儀文之具，此物何來?本都院既冰櫱(音聶)盟心，各司道亦激揚同志，務期苞苴(音居)永杜，庶幾風化日隆。"對於百姓所得張伯行視爲民脂民膏，力求賦稅寬簡。平常公務也杜絕禮品，不受一分一毫。
有的州縣官吏爲了考科成績，以利升遷，就不顧百姓困苦，任意加重賦稅，百姓不堪忍受。張伯行果斷地廢除了許多的苛捐雜稅。因爲和總督的矛盾很深，備受壓制，在康熙四十九年，即1710年，張伯行以病爲理由請求退休。
康熙愛惜人才，不准他退休："張伯行操守清潔，立志不移，朕所深悉。江蘇重地，正資料理，不得以衰病求罷。"張伯行只好忍辱負重，繼續任職，爲民爲國盡力。
在康熙五十年，江蘇鄉試發生了作弊案，副主考趙晉內外勾結串通，大肆舞弊，發榜時，蘇州士子大譁。康熙皇帝命令張伯行、噶禮同戶部尚書張鵬翮、安徽巡撫樑世勳會審此案。由於牽涉到噶禮受賄銀五十萬兩，案子錯綜複雜，審理一個多月竟然沒有任何結果。
