“千牛衛”這個名字，始於唐代，正式名稱爲“左右千牛衛”。在唐代，“左右千牛衛”是大唐南衙“十六衛”中的兩“衛”，不領府兵，專責“掌執御刀宿衛侍從”，是皇帝內圍貼身衛兵。晚唐以後，隨着“府兵制”的瓦解、“南衙十六衛”的衰敗，“左右千牛衛”也逐漸變得徒有虛名，變成了虛銜的一部分。五代、宋、遼、金，皆是如此。
唐代禁衛軍分爲南、北兩衙，左右千牛衛是南衙衛兵。
南衙衛兵就是“十六衛”，是國家軍隊。 唐朝實行“府兵制”，在“南衙十六衛”中，除左右千牛衛和左右監門衛不領府兵、只負責警衛外，前“十二衛”都遙領全國府兵。
北衙禁軍由“北門屯營”逐漸發展爲“北衙六軍”等，其中最爲有名的一支就是“羽林軍”。北衙禁軍是皇帝私人軍隊，是“募兵”，由皇帝親信指揮。
南北衙禁衛軍共同衛戍皇宮和京師，並相互牽制。但盛唐之後，“南衙府兵”逐漸衰敗，“北衙禁軍”逐漸成爲中央政權的唯一依靠。
千牛刀
《莊子·養生主》說：﹝庖丁﹞所解數千牛矣，而刀刃若新發於硎。
於是，有一種帝王隨身攜帶的防身御刀，叫做“千牛刀”，名字就是典出《莊子》，寓意“銳利可斬千牛”。
關於“千牛刀”出現的記載，較早可見於南朝劉宋。蕭子顯(蕭道成的孫子，約公元489至537年)《南齊書》：“玉夫(楊玉夫)與其黨陳奉伯等二十五人同謀，於氈屋中取千牛刀殺蒼梧王(南朝宋“後廢帝”劉昱)”。說的是一場著名的宮廷政變：南朝宋元徽五年(公元477年)七月七日半夜，楊玉夫和楊萬年潛入仁壽殿，乘劉昱熟睡如泥時，用皇帝劉昱自己的千牛刀殺掉了皇帝。
千牛備身
北朝北魏的時候，出現了一種高級禁衛武官，他們除了負責皇帝的安全，還掌執御刀“千牛刀”，這種禁衛武官就是——“千牛備身”。
千牛衛
最初“千牛備身”出現的時候，似乎並沒有一個專門的機構來統領這些武官。後來，北魏孝明帝中期出了“領左右”，很可能就統領着“千牛備身”。再往後，歷朝歷代統領“千牛備身”的機構名稱不斷變化，在唐高宗顯慶五年(公元660年)稱“左右千牛府”，到了唐中宗神龍元年(公元705年)，改爲“左右千牛衛”。
這樣看來，“千牛衛”，正是因爲它統領着禁衛武官“千牛備身”而得名。
