段祺瑞早年經歷顯赫，稱得上是同時代人中的佼佼者。他讀過七年私塾，熟知經史，有較好的國學根底，說起“子乎者也”毫不輸人。成年後考入了每期只招收百人的天津武備學堂，這所學校雖然規模不大，但卻是近代中國第一所陸軍學堂。後來的研究者發現，“中國二十世紀初期歷史上的許多重要人物，都是該校培訓出來的”。
武備學堂有一門從德國買來的德造火炮瞄準器壞了，沒有人會修理。段祺瑞初生牛犢不怕虎，憑着剛從學校學到的一些物理、化學和高等數學知識，加上天賦，經過一番研究琢磨，居然把這門瞄準器給修好了。
段祺瑞的武備學堂畢業成績是：“最優等。”一年後，政府決定選派數名武備生赴德留學，他再次以第一名的成績被錄取。
在德國，段祺瑞先用一年半時間在柏林軍校系統學習理論課程，接着又奉派單獨進入當時世界上的第一流兵工廠——克虜伯炮廠深造了半年。
學兼中西，掌握近代戰陣之法，尤精於槍炮技術，有如此特長的精英人才，在晚清末造可謂鳳毛麟角。可是學成回國後，段祺瑞卻被整整閒置了六年之久，所任職務不是軍械局委員，就是隨營學堂教習，反正是有你不多，沒你不少，英雄無用武之地。
受到冷落的不單是段祺瑞一個，絕大多數軍校生包括留學歸國人員乾的也都是此類閒差。原因很簡單，因爲那時候還沒有可供他們發揮才幹的新式軍隊，而在以湘淮軍爲主的舊軍裏，將領們多行伍出身，這些人取得功名主要靠實戰，對於從軍事院校畢業的書齋軍官，他們既看不起也不肯加以提拔任用。
直到袁世凱在小站編練新軍，段祺瑞及其武備生們等人的命運才終於發生了轉折。
新軍全面使用西式武器，採用西法編制，進行西法操練。這些正是武備生的長處，武備生由此逐漸成爲北洋系的核心。作爲武備生中的拔尖人才，段祺瑞在被推薦給袁世凱之後，更是很快得到重用，成爲袁氏帶兵、練兵的主要助手。
袁世凱既能招攬人才，也能籠絡人才，對親信部屬的關照可謂無微不至。比如，段祺瑞第一次赴小站，袁世凱即親往迎接，禮儀之周到，令人有受寵若驚之感。又比如，段家但凡要辦什麼大事，只要讓袁世凱知道了，他都會額外贈送銀票，以壯聲色。
某次，段祺瑞在天津一家酒樓宴請其他將領。宴會結束，正準備結帳，酒樓老闆卻說你不必結了，袁大人已經吩咐過，所有花銷都記在他一人帳上……
袁世凱有一個在山東時義結金蘭的故人，不幸早逝，其女張佩蘅由袁世凱接來府上照料。袁世凱的夫人於氏只生袁克定一子，無女，便將張佩蘅收爲了義女。另外一種說法是，張佩蘅其實是袁世凱的表侄女，從小在袁家長大。不管出身究竟如何，袁氏夫婦視她如同己出是沒錯的，張佩蘅見到袁氏夫婦也是一口一個爸媽，十分親熱。
後來袁世凱聽說段祺瑞的原配夫人病故，就有心作主把張佩蘅許配給段祺瑞。當時武人的社會地位較低，張佩蘅的親生母親嫌段祺瑞是武人，女兒又是去當續絃，因此起初對這樁婚姻不太滿意。袁世凱給老太太做工作，說段祺瑞是我看中的，你就放一百二十個心吧。
以張佩蘅在袁府如同大小姐一樣的身份，段祺瑞迎娶張佩蘅，就等於是做了袁世凱的女婿。從此，袁段二人除了多年的袍澤關係外，無形中又成了親戚。
