魏晋南北朝时期，地方政权基本上划分为州、郡、县三级。州的长官或称州牧或称刺史，主民政；县的长官一律改称为令。那时，有些外州刺史往往被加上“使持节都督某州军事”或“假持节都督某州军事”的头衔，并加号“将军”，权势很大。
隋取消郡，只存州县。隋末改州为郡，唐又改郡为州，都是两级制。唐又置十个监察区叫“道”，每道派高级京官一人，先后称黜陟使、按察使、采访处置使等，掌监察州、县官吏事，有权罢免或提升地方官吏。此外，隋唐时还合若干州为一军区，长官在隋称总管，在唐称都督。后来唐在边境军区置节度使，都带京官和御史大夫衔，集数州以至十余州的军政、民政、财政和监察诸权于一身，权势很大。“安史之乱”后，节度使势力扩大，割据独立，世称为“藩镇”。
宋代削藩镇，集权中央，节度使成为空衔，因地置不同名称的州、府、军、监，都有属县，仍然是二级制。州县政务都由中央另派京官带原衔出任，称“知某州军州事”（“州”指民政，“军”指地方军队）、“知某县事”，简称“知州”“知县”。宋在两级行政机构外，又设立称为“路”的监察区。路有都转运使，负责监察吏治和收纳地方上缴中央的赋税；有提点刑狱，稽考一路的民刑案件；有提举司，长官称“提举某路常平公事”，管仓储和茶盐专卖；此外有经略安抚使或安抚使，掌一路的地方军事，按例都以当路的知州或知府充任，实为一路的军政长官。宋代一路设官分职很多，目的主要是为了分散权力，避免地方割据。