解放軍1955年實行軍銜制後，上士是軍銜體系裏的一個等級稱號，其地位低於准尉，高於中士，是軍士軍銜中的最高級別。在此前的20多年裏，無論是解放軍還是國民黨軍隊，甚至連日本侵華時期的僞軍在內，連隊和機關伙食單位，都有一個低於司務長、高於炊事班長，管理伙食等項工作的職務，稱之爲上士。
上士本來是清朝末年和北洋政府時期的軍銜稱號，怎麼變成了國民黨軍隊和解放軍的職務名稱了呢?
清政府從西歐引進軍銜制度後，將低於准尉、高於上等兵的軍銜稱號定名爲軍士，軍士分爲上士、中士、下士三級。辛亥革命後，孫中山領導的南京臨時政府和袁世凱統治的北洋政府，對清朝政府命名的上士、中士、下士的軍銜等級，相沿未改。之後，國民黨軍隊實行的和解放軍擬定的(戰爭年代兩次擬定軍銜制度但未實施)軍銜等級中，也都設置有上士這一等級稱號。
北洋政府頒佈的編制軍銜文件規定，在步兵連的編制軍銜定額裏，軍士共編11名，其中上士1名，中士4名，下士6名。上士是連部負責庶務工作者的編制軍銜。庶務在這裏的含義，是衆多的意思，也就是指從事衆多事務的一種工作。它的上司司務長，就是管理連隊全部事務工作的長官。但是，當時對庶務一詞的規範，還沒有像會計那樣，既是指一種業務工作，又是指一種職務名稱。所以，人們逐漸地把庶務的職位與上士的頭銜聯繫起來，稱作庶務上士，用這種職位加頭銜的方法來表示對擔任庶務職務者的稱呼。時間一長，人們逐漸省略了庶務二字，只用上士一詞來表示對庶務職務的稱呼了。慢慢地，許多人不瞭解過去的衍化過程，認爲上士就是庶務工作者的職務稱謂。
這種誤會不僅僅表現在人們的口頭稱呼上，而且還寫入了正式編制表。例如，紅一方面軍1933年發佈的《關於軍職分別的訓令》裏，就列有上士這一職務。新四軍的文件中，一個人有兩個上士頭銜，一個是職務上士，一個是軍銜上士。1946年3月，新四軍兼山東軍區司令部發布的《本軍劃分軍隊官兵階級的說明與規定》中，在連隊的編制軍銜欄目中說：“文書可評上士、上士可評上士。”第二個上士是職務，第三個上士是軍銜，一個人具有兩個上士頭銜。
在以往長達20多年時間裏，國民黨軍隊和解放軍的領導機關，對這種把上士銜稱當成職務名稱的現象，見怪不怪，誰也沒有把它看作是個問題，而去追溯究竟是怎麼回事。1955年解放軍實行軍銜制時，主管部門大概意識到，在編制軍銜表中將會出現“上士的編制軍銜爲上士”的現象，爲避免職務上士與軍銜上士重複，才把既有的上士職務改稱爲給養員，結束了軍銜上士被異化爲職務的歷史。
