秦始皇统一天下后，曾出现过应否置郡的争论。当时不少大臣，认为原楚国、燕国、齐国等地的领土都远离秦国，主张实行分封，但李斯认为分封制是周朝诸侯混战的根源，他力排众议，建议实行郡县制，并得到秦始皇的采纳。
郡县制起源于秦朝。郡和县在春秋时期，分别是两个不同的行政区划，秦始皇统一天下前，县大于郡，千里百县，县有四郡，因此之前的地方行政制度为“县郡制”。
在郡县制底下，秦朝共设三十六郡，郡下辖县；郡与县，由皇帝直接任命，秦代至此成为为中国历史上，最早在全境推行“郡县制”的朝代，至汉代仍承袭这个制度，形成州郡县三级行政管理，自此成为日后各朝地方政制的基础，直到唐朝，才被道路制所取代。