不过府兵制并未贯穿整个唐代，自唐高宗后期以至武后时就逐渐被破坏，到玄宗统治时期，战事频繁，防御线延长，兵役繁重，原来防戍有一定的番休期限，后来常被强留以至久戍不归，导致人民避役，兵士逃亡，府兵制终于在天宝年间被废除。府兵制被废除后不久，即发生安史之乱，唐王朝由盛转衰。尽管后来叛乱被平定，但此后藩镇日益强盛，成尾大不掉之势，并最终导致了唐朝的灭亡。
前车之鉴历历在目，对于刚经历过元末战争，平定群雄，开创大明王朝的朱元璋而言，如何处理军队是个重大问题。简单来说，军队主要有两大功能：一是对外防御，明建国时，北元仍割据漠北，不时南下侵扰，要防范这些外来军事力量的进犯，边防力量是重中之重；二是对内设防，一旦国内发生民变、叛乱等突发事件，也必须要有军队及时镇压。但纵观历史，军队是一把双刃剑，若兵与将分割，和平时期久了，不仅国家需要花费巨大开支去供养军队，军队本身战斗力也会逐渐下降，甚至不堪一击；若令“兵将相习”，虽然可以训练出战斗力不错的部队，然而一旦他们与地方行政结合在一起，就很容易出现骄兵悍将、军阀割据的局面。