漢平帝元始三年(公元3年)，劉秀九歲的時候，他的父親劉欽因思慮國事家事，身心交瘁，積勞成病，竟一病不起，在汝南郡南頓縣令的任上去世了。
劉欽的死對孤兒寡母的打擊是非常沉重的。從此失去生活來源的母子沒有辦法在南頓呆下去了，劉秀的母親樊嫺都便在小叔子蕭縣令劉良的護送之下，帶着劉秀和劉伯姬回到了家鄉——舂陵。
在舂陵的樊嫺都根本無力撫養六個子女。最後還是劉良拿主意，他帶着劉縯、劉仲、劉秀三兄弟去了蕭縣，送入當地小學讀書，而樊嫺都則領着三個女兒在舂陵勉強度日。
劉秀和哥哥們跟着叔父在蕭縣生活了好幾年，隨着他們年齡的增長，叔父劉良的生活愈加困難，劉秀弟兄們不忍心再拖累叔父，就回到了舂陵老家務農。
網絡配圖
劉秀性情溫和，喜歡在田野間嬉戲，劉家的佃農不免要照應着他。時間長了，劉秀漸漸對農桑稼穡產生了濃厚的興趣。哥哥劉縯的性格與劉秀恰恰相反，對田園生活毫無興趣，專喜歡交朋結友、弄俠使氣，養着不少鄉間豪悍的少年做賓客。他對弟弟與世無爭的生活態度很看不慣，常常笑話他沒有出息，天生是個做農夫的材料，與劉邦的兄長劉仲頗爲相似。
在劉家兄弟過着田園牧歌生活的同時，漢王朝卻早已岌岌可危，朝政很長時間都把持在外戚王氏手中。王莽則是此時王氏家族的代表，他是漢元帝的皇后王政君的侄子，公元前一年，王莽做到了大司馬錄尚書事，登上了一人之下萬人之上的位置。
王莽先後通過大封官爵、擴太學、改革賑災等措施取得了地主豪強、文人以及衆多百姓的支持。這時皇帝的名號雖然還在劉氏的頭上，但是實際上已經成了王莽的傀儡。劉氏一族自然不願意失去劉氏的天下，公元六年，安衆侯劉崇起兵反對王莽，公元七年，身居東郡的劉信也起兵反莽，他們先後被王莽鎮壓了。
公元八年，王莽終於廢掉了漢皇帝，宣佈由自己即天子位，國號爲新，以王氏王朝取代了劉氏王朝。開始王莽還拉攏善待劉氏，但到了新始建國二年( 公元10 年)，篡奪漢政的王莽，唯恐劉姓餘波再起，乾脆繳回漢諸侯王璽綬。劉姓諸侯王三十二人、列侯一百八十一人同日遭貶，廢爲庶人。
王莽廢漢，劉氏的皇族身份沒有了。劉良的特權地位不復存在，只有回老家和劉秀兄弟一起務農。從此他們開始過起了老百姓的生活，親身體驗到了農民的困苦和艱辛。
雖然按當然的制度，劉欽和劉良都有資格享受朝廷的退休津貼，但無奈級別太低，朝廷發的那幾塊散碎銀子根本不夠一大家人操持吃喝的。就算劉良不說，劉家三兄弟心裏也是明白的，叔父對他們已經夠照顧的了，總不能靠叔父一輩子。
網絡配圖
父親不在了，作爲長兄的劉縯理應挑起生活的重擔。但劉縯生來有着遠大的志向，他對於幹農活沒有半點興趣，他最大的愛好是交結天下豪傑，喜歡暢談天下大事，不屑於料理家中的田地。家中所有的農活便只能由二弟劉仲和三弟劉秀來承擔。
劉秀知道這是大哥的性格，他了解大哥的遠大志向，只好和二哥一起，默默的挑起生活的重擔，供着大哥在外面風光。劉仲是個老實巴交的農夫，他只會埋頭種田，其他的一概不管。
而劉秀從小就對農活用心，很會照顧打理田地，他家的田即使在大旱的年景也能有個好收成，而別人家很可能顆粒無收。在這樣的年景下，糧食十分金貴。劉秀雖然不像大哥每天只想着大事，他卻也不是真的只懂種田。他有非常發達的生意頭腦，藉着現在糧食的稀缺金貴，便每次打完糧後，劉秀留下家裏吃的，就趕着牛拉着糧食到周邊市鎮販賣。
網絡配圖
本來當時時局動盪糧食比較緊缺，加上劉秀爲人忠厚和善，做買賣誠實守信，價格公道，所以劉家的糧食銷路非常好。很快，劉秀就爲家裏攢下了一筆很豐厚的積蓄。劉家慢慢從父親劉欽逝世的陰影中走了出來。
劉秀不僅會做買賣，更重要的是他非常會做人，劉秀平時樂於助人，鄉里鄉親的誰家有困難，劉秀都會盡力幫忙，從不說二話。史載，劉秀“品行純美，有君子之風。”在當地贏得了非常好的口碑，鄉親們一提劉家老三，各個都讚不絕口。
