府兵制的基層組織在西魏、北周稱為“軍府”，長官為“開府、儀同”，在隋朝稱為“驃騎府”或者“鷹揚府”，長官稱為“驃騎將軍、鷹揚郎將”。至唐朝立國後，將府兵制發揚光大、推廣到天下諸道，其名稱改為“統軍府”，長官稱“統軍”。貞觀十年（635年），唐太宗正式改基層府兵組織為“折衝府”，長官為“折衝都尉”，此後這一名稱保持了上百年，直至天寶八載（749年），唐玄宗下詔停止折衝府上下行文魚書、不再調派軍士入衛作戰為止。唐玄宗開元年間以後，雖然“折衝府”的名稱和“折衝都尉”的官職還在，但都是虛置虛銜而已，“府兵制”逐漸被“募兵制”所代替，走到了衰亡的盡頭。
唐代的折衝府，最多時有八百府，一般時也有六百多府，其中關中就設定了二百八十多府，河東也有一百六十多府，這兩個地方的折衝府數量幾乎佔全部折衝府的一半，這也是唐朝“舉關中之眾以臨四方”和“內重外輕”軍事思想的體現。
要統帥數量如此眾多的折衝府軍士，單憑皇帝本人或者兵部官吏是萬萬管不過來的，而“折衝都尉”只是管理“府兵”們的在鄉軍籍、訓練，不能管理“府兵”們宿衛長安時的行動，更沒有作戰時的軍事指揮權。因此唐太宗將天下折衝府都歸置為中央禁軍十二衛遙領，在府兵“番上宿衛”長安時加以統領，而有作戰任務時則由皇帝任命的行軍總管、行軍元帥加以指揮，如此一來，府兵組織上下有序、行動迅捷，皇帝可以自上往下輕鬆指揮、驅使，使得大多由府兵組成的唐軍實力強悍、作戰勇猛、四方征戰所向披靡，將大唐的旗幟插遍了周邊四域。
以上合計十二衛，天下六百餘折衝府都由這十二衛遙領，每衛大致下轄折衝府四十至六十府，諸折衝府到長安、洛陽輪番宿衛的府兵們皆受其統轄，衛戍都城和出征四方時都按照各衛統領序列執行軍令，府兵和禁軍由此合二為一。由於十二衛屬於尚書省下的兵部直接管轄，而兵部位於長安皇城以南，所以稱其為“南衙禁軍”。
但是我們在提及大唐禁軍制度時，都是稱之為“南衙十六衛”、“北衙六軍”，以及中後期的“左右神策軍”，可上面介紹的南衙只有十二衛，那麼其餘的南衙四衛、以及其他禁軍番號又是怎麼一回事呢？
原來，在南衙禁軍中，還有另外四衛，但不遙領折衝府府兵，也不執行衛戍京師、出征作戰的任務，只負責守護皇帝、典仗宮門警衛的職責，這四衛是：左右千牛衛（由隋時左右備身府改稱，唐初改名左右千牛府，龍朔二年時尚名左右奉辰衛，直到咸亨元年（670年）才改稱左右千牛衛），左右監門衛（由隋時左右監門府改稱，唐初定名）。
這四衛也是屬於兵部統管，所以被納入“南衙”系統禁軍中， 和上面的十二衛一起合稱“南衙十六衛”，其中左右千牛衛屬於皇帝親軍，負責貼身侍衛皇帝本人、出入侍從，類似於明朝的錦衣衛（不包括緝捕監視職責），左右監門衛則負責守衛長安、洛陽城中的皇宮門禁和其他各處皇家宮殿、御苑，檢查出入皇宮的官員和其他宮中差役侍從進出宮門時的安全，相當於皇宮守衛。
而“北衙六軍”則是由唐太宗在貞觀初年設立，起初是從禁軍中選取擅長騎射計程車兵大約一百人，命名為為“百騎”，在皇帝出獵時隨扈侍衛，平時則在皇宮北門玄武門駐守巡查，這就最初的北衙禁軍。後來唐太宗於玄武門外另設左右屯營，從南衙諸衛中選優異者為將，起名為‘飛騎’，擴大了北衙禁軍。龍朔二年（662年），唐高宗將左右屯營擴充為左、右羽林軍，正式設立了北衙禁軍，而“百騎”則逐步擴充套件為“千騎”、“萬騎”。
此後在開元二十六年（738年），唐玄宗以“萬騎”建左、右龍武軍，至德二載（757年），唐肅宗又設定左、右神武軍。至此，左右羽林軍、左右龍武軍、左右神武軍全部建成，由於駐守在皇宮的北面，所以合稱“北衙六軍”。這個時候，“南衙十六衛”已經名存實亡，唐朝中樞最有威力的禁軍，就是這北衙六軍了。
而中晚唐以後，北衙六軍也衰弱不堪，於是，設立於天寶十三載（754年）的邊軍之一——神策軍，在永泰元年（765年）奉詔屯於長安禁苑，分為左右廂，正式成為天子禁軍，並由宦官典軍。從此後，唐朝中後期的朝廷禁衛軍，就幾乎由神策軍全部擔任，其他南北衙禁軍，都成為了虛置其名的禮儀機構，作用微乎其微了。
南衙十六衛設立之初，各衛分別設定大將軍一人，將軍二人為本衛長官，其下還有中郎、中郎將、左右郎將、錄事參軍、倉曹、兵曹、騎曹、胄曹諸參軍等職，而大將軍基本上由開國重臣以及軍中宿將擔任，而且多有作為加官以彰顯功臣們功勞的作用。中唐以後，在大將軍之上再設上將軍一人，為一衛最高長官，不過不常設，也是作為元勳重臣的加官。
所以，唐代朝廷重臣們出任過十六衛大將軍的不計其數，每個時代都有不同的人擔任過諸衛大將軍，這份名單既長且雜，下面擷取唐太宗至唐高宗以及武周時期，部分曾經擔任過諸衛大將軍的元勳重臣和軍中宿將名單做一個介紹說明：左武候大將軍齊國公長孫無忌，右武候大將軍鄂國公尉遲恭，左驍衛大將軍樊國公段志玄，左武衛大將軍冀國公秦瓊，右武衛大將軍盧國公程知節，左衛大將軍潞國公侯君集，右衛大將軍霍國公柴紹，左領軍大將軍彭國公王君廓，右驍衛大將軍郕國公契苾何力。
而在唐高宗以及武周時期，擔任過諸衛大將軍之職的元勳宿將有：左衛大將軍盧國公程知節，左武衛大將軍刑國公蘇烈，右衛大將軍聞喜郡公裴行儉，右威衛大將軍平陽郡公薛禮，左驍衛大將軍平原郡公程務挺，左衛大將軍涼國公契苾何力，左武衛大將軍燕國公黑齒常之，左驍衛大將軍吳國公李孝逸，左衛大將軍清源縣男王孝傑。
和太宗時期一樣，這些功臣們大都先後轉官諸衛，出任過多衛大將軍，以示尊崇和嘉勉。
唐朝南衙十六衛從建立之日起，就成為一個有效的、組織得力的軍民合一軍事機構，結合“府兵制”、“均田制”等制度，為大唐提供了規模龐大的“免費後備軍”，是盛唐時期唐軍東征西討、平定四方、展示國威於四海的堅固支柱。但中唐以後，隨著世家豪門土地兼併越來越激烈，“均田制”頃刻間便崩潰衰落，而建立在“均田制”基礎之上的“府兵制”因為失去了存在的基礎，也隨之一併崩潰。
到唐玄宗開元中期時，各地折衝府已經無兵可調，府兵們紛紛逃亡散落，不再履行番上宿衛長安洛陽宮禁、以及出征作戰的職責，唐朝只得施行募兵制，從民間招募士卒充實到“北衙六軍”之中，作為新的中央禁軍（此時還只有四軍）。南衙十六衛也由於軍隊基礎“府兵制”的破壞而失去了當年強悍的戰鬥力，淪為閒散衙門，被北衙禁軍取代了原本擔任的警備、作戰、值守任務，慢慢地退出了實際意義上的軍事政治舞臺。
雖然終唐一世，南衙十六衛番號沒有被取消，但其諸衛大將軍之職已經成為元勳武將的升遷、加官虛銜，作為皇帝儀仗護衛而已，沒有了實際作用。