战国时，周显王二十一年（前348）韩首置上党郡，后归赵国。秦王政二十六年（前221）秦统一六国后，实行郡县制，分天下为36郡。上党郡即为其中之一，治长子。

东汉沿用秦制，上党郡属并州。建安元年（196），上党郡治至壶关（长治城）。建安十八年（213），上党郡入冀州。

三国魏黄初元年（220），上党郡归并州，治潞县（今潞城县）。西晋永兴元年（304），上党郡属前赵，建兴中（313—317）归后赵，均治潞县。后上党郡归西燕。东晋升平二年（358），郡治移至安民城（今襄垣县北5公里处），后徒壶关城。太和五年（370），苻坚灭燕，上党郡入后秦，郡治复迁潞县。太元十一年（386），慕容永称帝于长子，上党郡归之。北魏皇始元年（396），上党郡治安民城。太平真君中（440—445），复治壶关城。北周建德七年（578），分上党郡置潞州（为潞州建置之始），上党郡属焉。州得名潞子国。

隋开皇三年（583），上党郡废，移州于壶关。十六年（596），分壶关置上党县。大业元年（605），改潞州为上党郡，治壶关。隶冀州。

唐武德年间（618—627），改上党郡为潞州，并置都督府，迁壶关治于高望堡（今壶关县西七里村）。开元十七年（729），因唐玄宗李隆基称帝前曾在潞州任別驾，潞州是他升腾的发祥地，置大都督府，与并、益、荆、扬、并称为全国五大都督府，并置上党郡，辖上党、壶关、长子、屯留、潞城、黎城、涉县、铜鞮、武乡等10县。开元二十一年（733），潞州、上党郡属河东道。（吴天昌）