趙郡李氏南祖之後，有李善權，爲後魏譙郡太守，他把家徙至譙(今安徽亳縣治)，於是在安徽亳縣一帶也有了趙郡李氏的後裔。
早期事蹟
李敬玄年輕時博覽羣書，精通禮制，後在馬周的推薦下，進入崇賢館，成爲太子李治(唐高宗)的侍讀。他雖生性冷峻，但研究學問非常勤勉，受到許敬宗等人的讚譽，歷任西臺舍人、弘文館學士、右肅機、檢校太子右中護。
擔任宰相
669年(總章二年)，李敬玄升任西臺侍郎、同東西臺三品，兼任檢校司列少常伯，成爲宰相。他將司列(即吏部)事務委託給員外郎張仁禕，並沿襲張仁禕修正的選官程序，主持選官多年，使得銓選錄用有條不紊。
672年(咸亨三年)，李敬玄擔任吏部侍郎，加封銀青光祿大夫，仍兼任太子右庶子、同中書門下三品，後又監修國史。
675年(上元二年)，李敬玄升任吏部尚書。他主掌吏部多年，又和趙郡李氏聯宗，前後三任妻子都出身山東士族，因此在朝中勢力極大。唐高宗對此很不高興，但未公開批評他的過錯。
徵蕃兵敗
676年(儀鳳元年)，李敬玄升任中書令，封趙國公。當時，劉仁軌每有奏請，李敬玄都持有不同意見，從中阻撓，二人因此交惡。
678年(儀鳳三年)，吐蕃入寇。劉仁軌知道李敬玄沒有將帥之才，故意奏請道：“鎮守河西，非李敬玄不可。”李敬玄極力推辭。此時，唐高宗已經厭惡李敬玄，便道：“劉仁軌如果需要朕去，朕就會主動前往，卿不得推辭。”任命他爲洮河道大總管，兼鎮撫大使，檢校鄯州都督，率軍抵禦吐蕃。
同年九月，李敬玄與吐蕃大將論欽陵在青海交戰，並命劉審禮爲先鋒。他逗撓不前，致使劉審禮孤軍深入，兵敗被俘。劉審禮敗後，李敬玄狼狽而逃，退至承風嶺，挖壕溝防禦。這時，偏將黑齒常之率死士夜襲吐蕃軍，吐蕃軍退軍，李敬玄這才得以返回鄯州。後來，李敬玄又在湟川被吐蕃擊敗。
貶官而死
680年(永隆元年)，李敬玄上表稱病，請求回京，得到批准。他回京後，也未引咎請罪，便直接到中書省辦公。唐高宗得知他並未生病，將他貶爲衡州刺史，後又改任揚州長史。
682年(永淳元年)，李敬玄去世，終年六十八歲，追贈兗州都督，賜諡文憲。
