據《五代志》記載:十六國前燕建熙時(公元360年),從元城縣分出一部分組建了貴鄉縣。縣治設在孔思集寺(今河北大名縣大街鄉)。
為同時設立貴鄉郡治所。不久貴鄉縣、貴鄉郡俱廢,仍併入元城縣。
北魏太和二十一年(497年)復置貴鄉縣,后又省。
東魏孝靜帝天平二年(公元535年),分
館陶縣西部復設貴鄉縣,縣治設於古趙城,即今大名縣王莽城。屬魏尹。公元578年
北周統治者把貴鄉縣治遷到孔思集寺。579年為魏州治所。隋開皇三年(583)屬
魏州。
大業三年(607)屬
武陽郡。唐武德元年(618)復屬魏州。
建中三年(782年),
田悅改魏州為
大名府,貴鄉屬之。
後唐同光元年(923年)三月,改貴鄉縣為
廣晉縣。屬
興唐府。