至于五军都督府与兵部的工作关系，《明会典》中记载：“在京在外武职袭替优给，都司卫所呈送该府，行奏过送兵部奏请定夺。……后行奏俱改属兵部。”到了明朝统治的末期，基本上出现了文官节制武将的模式，例如朝廷的督师、各地的总督、巡抚均为文官。清朝入关以后，由于自身并没有行政管理经验，因此几乎照搬了明朝的各种行政制度。
明朝的卫所制有什么弊端，为何短短的70年之后，朝廷便不得不募兵？
终明276年，卫所制都从未被明廷所放弃，虽然明中后期的确有采取募兵制来填充军队缺额的做法，但这只是少数，并未成为主流。终明一代，卫所制始终是明代所采取的最为主要的军事制度。简而言之，卫所在明代的设置是贯穿始终的，自洪武开始，直至崇祯亡国，明廷对于卫所的设置都从未间断过。如成化四年 （1468年），置固原卫；万历二十八年（1600年），明廷平定播州之后，置威远卫于府城；崇祯二年（1629年），奢安之乱被平定后，明廷就在水西置镇西、敷勇二卫，及定南、柔远、威武、赫声、於襄、息烽、修文、濯灵八所。
当然，不可否认的是，卫所制虽贯穿明朝的整个历史，但自明中期后，卫所制就渐渐衰落，其卫所军的战斗力是日渐低下，不堪重用。因此，自嘉靖年间后，随着明朝被“南倭北虏”的问题弄得是焦头烂额，而卫所军的战斗力又不足以能帮助明朝解决这些问题，最终明廷对于作战部队的组建，只得是依靠募兵制。此后，自募兵制成为明代作战部队兵源的主要来源，明代是相继涌现出了俞家军、戚家军、白杆军、辽东军等精锐之师。
到这里，或许很多人就不明白了，为何明初曾无敌于天下，帮助朱元璋稳固天下，帮助朱棣五征蒙古的“卫所制”，最终会衰落成如此地步，逼的明廷只能用募兵的方式来组建作战部队，然后才能去应对对外战事呢？是什么弊端，让“卫所制”衰落的如此之快？其实，明代“卫所制”会衰落，虽原因有很多，但最主要的原因无非就是卫军锐减、军纪败坏。
那是什么原因，致使卫军锐减、军纪败坏的问题出现呢？首先，我们都知道，“卫所制”最核心的就是“军户”，只有“军户”充足，“卫所制”才能发挥出它该有的作用。因此，一旦缺少“军户”，“卫所制”不可避免的就会衰落。那是什么原因让明代的卫军锐减的呢？其一、变味的“班军制度”，卫军充当班军，却是只进不出，由此造成卫军锐减。
所谓“班军”，“卫所之军，番上京师，总为三大营者也”，明代，各地卫所军队每年都需轮番赴京，编入京营操练，或保卫京师，或以备出征，此谓之“班军”。这项制度始于永乐二十二年（1424年）：“敕河南、山东、山西、大宁及中都将领，每年选一万四千(河南)到七万(大宁)共十六万人，春秋番上”，自此“班军”始成制度。
最初，明廷让各地卫所军队轮番上京，只是为了检阅各地的军队，然后对其进行操练，以此来增强卫军的战斗力。但是，随着时间的逝去，“班军制度”逐渐失去了曾经的目的，正如嘉靖时期兵部尚书李承勋所言：“永乐中调军番上京师，后遂踵为故事，卫伍半空，而在京者徒供营造”，本来每年调各地卫军轮番入京，这只是为了操练军队，但是随着时间的逝去，这些班军却逐渐被驱使于工役，或修筑城哨、或建造城堡，如此曾经轮换的班军，逐渐被长期禁锢在京师，不能返回原地。
而随着大量的卫所军被抽调入京做了班军，却长时间不得回原地，其原地卫所军不可避免的就会出现卫军锐减的问题。与此同时，正如弘治时期兵部尚书马文升曾言：“军卫军士内府各衙门匠役占主数万之上，见在者不过七八万，往年京师之兵，俱在三大营操练，近年多拨做工，每占役一二万之上，甚至二三年不完，顧工负累，卒多逃亡，见在者强弱相半，在京军士，疲困未有甚于此时者也”，被调往京师的班军因受不了这般繁重的工役，是出现了大量逃亡的情况。
如此，班军的大量逃亡，也间接的造成了卫军的锐减，因为班军一旦出现空缺，则朝廷势必就会继续从各地卫所军队中抽调卫军入京，而如上文所说，卫军一旦入京做了班军，因需服繁重的工役，短时间内是回不去原地。如此，班军的大量逃亡，势必就会造成卫军的锐减。其二、权贵私自占用，其不计后果的奴役，卫军为了活命，只得逃亡。
