據說，孔子(孔丘)快死的時候.曾預言說不知何一男子，自謂秦始皇，上我之堂，鋸我牀,直面倒我衣裳,至沙丘而亡。
孔丘死後200多年，果然有一個秦始皇，他雖然沒去拜訪孔丘的故居，上堂，踞牀，顛倒衣裳，但他卻把與孔丘有關的儒家著作燒掉不少，把孔丘的徒子徒孫殺掉一些。而秦始皇最後是果然是死於沙丘這個地方的。
這種似是而非的預言稱爲讖(chèn)語，這種讖語當然不是孔子的原作，而是後來某些儒生編出來用來欺騙別人的。東漢光武帝名劉秀，他因爲讖語中有“劉秀髮兵捕不道，四夷雲集龍鬥野，四七這際火爲主”等莫名其妙話。似平可以“證明“他是應“天命”而做皇帝的.就對讖語大加提倡。所以東漢時期，各種各樣的讖語大爲流行。東漢的儒生除了要學儒家的經書外，還要學“緯書”。緯書明明是漢朝人編造出來的。卻假稱是孔子等古人祕密傳下來的，其中有大量的讖語.因而又稱爲“讖緯”。當然，緯書中也有精華的東西，如關於地動的學說。但緯書中的大量讖語，宣揚迷信，鬼話連篇.造成思想上的混亂是科學的大敵。
張衡很早就反對讖緯。他的朋友馬融、王符、崔瑗不相信讖緯。但是公開反對讖緯是危險的。著名思想家醒譚因爲反對讖緯，幾乎被光武帝殺掉。著名思想家王充猛烈反對讖緯.但他的著作《論衡》只能祕密流傳。所以反對讖緯的意見，只有在朋友之間談論.而不能公開發表。
公元133年.就是地動儀制成的第二年、張衡爲了除迷信.正式向漢順帝上了奏章.指出讖緯的虛假。他劉邦滅秦.建立漢朝.井沒有讖語預言。劉向父子整理皇家圖書，編列目標.也沒有什麼讖書、緯書。可見讖緯是後人編造的.怎麼能說是孔子的話呢?緯書中講到的公輸班積墨翟.是戰國時人：還講過益州.這是漢朝設置的州。這些怎能是春秋時孔子說的呢?讖語有很多和經書不合，讖語和讖語也有很多互相矛盾的地方.有人找出30句互相矛盾的讖語去問講讖語的專家竟無法解答。由此知讖語虛假.不可相信。
張衡還說：幾十年前有個宋景，編造什麼看見禹的玉版上有讖語說，某年當有水災.騙得一些人棄去家業，逃進山林。實際上井未出現水災.鬧了個大笑話。這是讖語害人的實例。
張衡在奏章的末尾，要求漢順帝禁絕讖緯.以免迷惑世人。張衡這勇敢的一擊，揭穿了長期流行的謊言，也揭了某些謊言家的面目。他說出了很多正直的知識分子想而不敢說的話。他期待着漢順帝接受他的意見也準備漢順帝的嚴厲懲罰。可是兩者都沒有。漢順帝對張衡的意見根本不理會，朝廷裏仍保持着死氣沉沉的局面。
令人意外的是：就在這年，張衡竟升官了，漢順帝調他擔任侍中。侍中負責侍候皇帝。沒有官署，沒有具體職務，但是地位很高，是一種高級顧問。於是，張衡有機會進宮和皇帝直接對話。可是張衡發現這位皇帝是庸才，不做什麼大壞事.也不做什麼大好事。張衡兩次上奏章.他都沒有采納：當面提出一些議.他都不置可否。因此張衡的熱情減退，過着“得過且過“的日子。
有一天.漢順帝似平很關心人民的樣子，問張衡：“天下所痛恨的是什麼人?”張衡想：是什麼人，不是早告訴過你了嗎?就是那些爲非作歹的宦官!張衡正想慷慨激昂地議論一番，揭露宦官的罪行，可是擡頭一看，見皇帝左右的幾個宦官，都睜着圓圓的眼睛注視着他。
說呢?還是不說?他有些躊躇了。他看着19歲的漢順帝，一個優柔寡斷的青年，心想：向他揭露宦官的罪行，有什麼用呢?他本人就在宦官集團的包圍監視之中嘛。張衡終於退縮了。他只說了幾句無關痛癢的空話。他對現實的政治巳經灰心，要求去編歷史。他爲西漢的歷史蒐集了一些材料，要求到皇家圖書館——“東觀”去集中力量寫西漢的歷史，自信某些方面也許勝過班固的(漢書)。他的這個要求沒有被接受。
雖然張衡在順帝面前沒有直接揭露宦官的罪行，但對他早前指斥宦官的文章、宦官們的印象是深刻的。他們不希望張衡留在皇帝的左右、想方設法把他調出了京城。
