高祖五年（前２０2年)正月，廢國為郡，灊縣改屬英布淮南國衡山郡（仍治邾）。景帝四年（前１５3年)，改屬劉賜衡山國（仍都邾）。元狩元年（前１２2年)，衡山國除為郡，歸漢。
秦置。
灊縣（治安徽霍山南嶽鄉上元街村）設置於秦末。
高祖五年（前２０2年)正月，廢國為郡，灊縣改屬英布淮南國衡山郡（仍治邾）。十一年七月歸漢。十月庚午，改屬劉長淮南國（改都壽春，今壽縣城關鎮）。
文帝七年（前１７3年)，
衡山郡歸漢。十二年，改屬劉喜淮南國（仍都壽春）。十六年歸漢。四月丙寅，灊縣改屬
劉勃衡山國（仍都邾）。
景帝四年（前１５3年)，改屬劉賜衡山國（仍都邾）。
元狩元年（前１２2年)，衡山國除為郡，歸漢。二年，分衡山郡東部及
九江郡南部組建新
廬江郡（治舒，今廬江縣城池鄉城池村城池埂），灊縣屬之。
咸熙二年（２６5年)十二月，
西晉代魏，復灊縣（仍治上元街村），屬
揚州（回治壽春。平吳后，改治今南京市）廬江郡（初治皖，后改治舒）。
北魏天安元年（４６6年)佔領
淮西，復設灊縣，屬廬江郡。