各地卫所的卫军之所以会锐减，有跟国家将其调往京师，驱使工役有关，也跟被权贵挪作私用有关。明代，将卫所挪作他用的主要有两类人，其一是皇亲国戚，其二就是军队将官。正如王毓铨在《明代的军屯》一书中所说：“役使军士当私差的，主要是镇守总兵等官，还有指挥千户、百户以及许多官豪势要。他们私下役使军士，耕种庄田，为他们樵采、治炭、开窑、烧造砖瓦、修筑私第、贩私盐等” ，当时因明朝多无战事，所以卫所军官多将卫军挪作私用，或樵采、治炭、开窑、烧造砖瓦，或烧造砖瓦、修筑私第、贩私盐，总之是让他们“不务正业”。
由此，随着原属国家的卫军被大量占用，其专属于国家的卫军数量自然也就锐减。与此同时，因皇亲国戚、军队将官在役使卫军的过程中往往是不计后果的，是拼了命的奴役这些卫军，如此，是越来越的卫军受不了这些人的奴役，为了活命，他们只得逃亡。其三、月粮减少，军饷被克扣，致使卫军生活无以为继，为了生存，只得逃亡。明初，因朝廷大力推行屯田，所以是粮食富足，正如李承勋在《丰财用疏》所说：“弘治以前，每边在仓粮料，皆百万以上，陈陈相因”，因此正因明廷粮食充足，所以发放给卫所的月粮，不但能供屯军自食，还可给本卫官军充当薪俸。
但是自正德年间后，因“费用俱尽，各镇仓廪皆空”，所以发放给卫军的月粮开始大幅度减少，此时“如米每石值银一两，而官散折银六钱，是官军每月止得米六斗，而少四斗，军何得不贫？”，要知道卫军的生存可都是靠月粮的，月粮若减少，他们的生活必定会受到巨大的影响 ，每月仅能得到六斗米，这几乎是致卫军于死地。而就是在月粮锐减之时，卫军几乎活不下的时候，却还有卫所军官克扣月粮，以充市价，以此中饱私囊，“俺答自通市以来，边备懈驰。
三军月饷，既克其半以充市赏，复克其半以奉要人，士无宿饱，何能御寇？”，如万历年间，与俺答通市之后，就时常发生卫所军官将卫所兵士的月粮克扣，然后卖于蒙古。同时，卫军此时不但面临着月粮大幅度减少的困境，同时还要面临着军饷被卫所军官克扣的死境。正如李承勋在《陈言边事疏》所说：“照得开原并各城堡逃军，先因月粮赏赐，数年缺支，内外各官，科敛民财……以失其心。
此等军役，一身在逃，家产尽弃，妻子田地，属之他人”，月粮的减少，军饷被克扣，最终逼的卫军是连家都不要，只身逃亡。与此同时，不但卫所军官要克扣军饷，朝中那些掌权官员更是变本加厉的克扣本该发给卫所兵士的军饷。如嘉靖年间，严嵩父子专权时，“户部岁发边饷，本以赡军。自嵩辅政，朝出度支之门，暮入奸臣之府。输边者四，馈嵩者六”，本该发放到卫军的军饷，还未从户部发出之时，就被严嵩拿了六成。
而后，户部发往地方后，经过层层剥削，试问到卫军的手中还能剩多少？恐怕连一成都没有。如此，在月粮、军饷皆被那些贪官污吏剥削的几乎是干干净净之时，为了活下去，卫军只得是开始逃亡之路，逃出卫所，去自谋出路。其四、南北调操，不合理的更戍制度，让恐惧的卫军只得逃亡。明初，建立“卫所制”时，明廷就建立了“南人而北，北人而南”的更戍制度，即南方人前往北方驻守，北方人前往南方驻守。
这项制度明眼人一看就知道是有问题的，其最明显的缺陷就是，南方人是适应不了北方寒冷的环境的，而北方人也是适应不了南方瘴气的环境的，这很容易造成“水土不服”的问题。正如明代首辅杨士奇所言：“以陕西、山西、山东、河南、北直之人，往南方极边补伍，以浙江、闽、广、川、湖之人往北边补伍，水土不相习，北人苦于瘴疠，南人苦于严寒，多至死亡”，当时多有发生北方人因不适应南方的瘴气，南方人不适应北方的寒冷，而发生死亡的事情。
与此同时，再加上因交通工具的落后，南方卫军前往北方驻守，所要走过的路程少则千里，多则万里，路途可谓是艰难无比，且当时朝廷所发的盘缠又根本就不可能支撑到目的。由此，当时的卫军活了活命，多是选择在前往驻防地的过程中逃亡，而这就出现了“逃死者多，到卫者少”。总之，明代的卫军之所以会锐减，其最主要的原因就是卫军受不了朝廷与权贵的双重剥削，其不但要忍受月粮、军饷被克扣过半，生活无以为继的命运，还要忍受着朝廷与权贵所给他们带来的沉重的杂役，因此就是在这样的多重压迫下，如若卫军还不懂自救，那等待他们的命运恐怕就只有死亡。
