1868年，李善蘭被薦任北京同文館天文算學總教習，直至1882年他逝世爲止，從事數學教育十餘年，其間審定了《同文館算學課藝》、《同文館珠算金躊針》等數學教材，培養了一大批數學人才，是中國近代數學教育的鼻祖。
李善蘭在數學研究方面的成就，主要有尖錐術、垛積術和素數論三項。尖錐術理論主要見於《方圓闡幽》、《弧矢啓祕》、《對數探源》三種著作,成書年代約爲1845年,當時解析幾何與微積分學尚未傳入中國。李善蘭創立的“尖錐”概念，是一種處理代數問題的幾何模型，他對“尖錐曲線”的描述實質上相當於給出了直線、拋物線、立方拋物線等方程。
他創造的“尖錐求積術”。相當於冪函數的定積分公式和逐項積分法則。他用“分離元數法”獨立地得出了二項平方根的冪級數展開式結合“尖錐求積術”，得到了π的無窮級數表達式。各種三角函數和反三角函數的展開式，以及對數函數的展開式。
在使用微積分方法處理數學問題方面取得了創造性的成就。垛積術理論主要見於《垛積比類》,寫於1859～1867年間，這是有關高階等差級數的著作。李善蘭從研究中國傳統的垛積問題入手，獲得了一些相當於現代組合數學中的成果。例如，“三角垛有積求高開方廉隅表”和“乘方垛各廉表”實質上就是組合數學中著名的第一種斯特林數和歐拉數。馳名中外的“李善蘭恆等式”。
自20世紀30年代以來，受到國際數學界的普遍關注和讚賞。可以認爲，《垛積比類》是早期組合論的傑作。素數論主要見於《考數根法》，發表於1872年，這是中國素數論方面最早的著作。在判別一個自然數是否爲素數時，李善蘭證明了著名的費馬素數定理，並指出了它的逆定理不真。
李善蘭對經典力學在中國的傳播作出卓越的貢獻。他將英國人W.胡威立的《初等力學教程》(1833年第2版)筆譯(經艾約瑟口述)爲中文，1859年由上海墨海書館以《重學》的書名出版，共20卷。這是第一本系統介紹力學的中譯本。
李善蘭在《重學》一書所寫的序言中。特別強調了動力學的內容：“推其暫如飛炮擊敵，動重學也;推其久如五星繞太陽、月繞地，動重學也。”“動重學之率凡三：曰力、曰質、曰速。力同，則質小者速大，質太者速小;質同，則力小者謎小，力大者速大。”“動重學所推者力生速。凡物不能自動，力加之而動，若動後不復加力，則以平速動;若動後恆加力，則以漸加速動。”“凡物旋動，必環重心，地動是也。二物相連而相繞，必環公重心，月地相攝而動是也。“李善蘭與偉烈亞力合譯英國天文學家J.F.赫歇耳(1792～1871)所著《天文學綱要》一書。中譯本名爲《談天》，於1859年刊行。李善蘭執筆時作了刪略。該書不僅把近代天文學第一次系統地介紹到中國。而且引進了有關萬有引力的學說和天體力學的內容。有些力學專門術語的中文譯名，如攝動、章動等。最早見於《談天》。此後，李善蘭又着手翻譯I.牛頓的《自然哲學的數學原理》，雖然書沒譯完，譯稿後也遺失，但自李善蘭把牛頓力學介紹到中國後，西方近代科學的思想體系、觀點和方法，以及近代科學史上的若干成就才爲中國學者所運新熟悉，同時也激起中國學者學習自然科學的熱情。
李善蘭在所著《火器真訣》中按照不計空氣阻力拋射體在平面或斜面上射程的公式，提出彈道學的圖解方法。這些結果雖然低於當時歐洲彈道學水平，但反映了自然科學由引進到消化的過程。
