咸宁六年（280）三月，三国时期吴国未代皇帝孙皓（242～283年））降晋，晋武帝司马炎统一中国。咸宁六年四月，司马炎改年号为太康，为了削减吴国旧势力的影响，缩小了原以吴国都城建邺（今南京市）为中心的丹阳郡范围，在其南部地区复置宣城郡（注：《沈志》太康元年，《晋书·地理下》作太康二年），隶属扬州。治宛陵（今安徽宣州市区），领11个县，全为吴丹阳郡旧县。
咸和四年（329年），改属豫州。
义熙九年（413），仍属扬州。原治宛陵，兴宁初（约363年），改治芜湖（今芜湖县黄池镇南0.5公里许的楚王城遗址），不久，还宛陵。兴宁二年，治赭圻（今安徽繁昌县芦南乡东南5公里的赭圻山中，遗址位于群山合抱的带状冲地，现存被山洪冲断的夯土城墙高4.5米，宽7米.初建于东晋兴宁二年（364年），为东晋权臣桓温所筑），后因火灾改驻姑孰（今安徽当涂县城）。 宋初，宣城郡属扬州。
大明元年（457），改属南豫州。
三年（459）属王畿。
五年（461），改属南豫州。
次年（462），撤销淮南郡，并入宣城郡 ，改治于湖（今当涂县城）。
八年（468），复立淮南郡于于湖，宣城郡仍回宛陵，并属扬州。
泰始二年（466），改属东豫州。
三年（467），复入扬州。
五年（469），复入南豫州，兼州治。旋罢南豫州，复扬州。
七年（471），仍立南豫州于历阳，宣城郡属之。 宣城郡初属南豫州。
建元二年（480），改属扬州。
永明二年（484），改属南豫州。 梁初，宣城郡改属扬州。
承圣元年（552），改属南豫州。
中大通四年（532）正月，梁武帝封嫡皇孙萧大器为宣城郡王。 开皇九年（589），隋平南朝的陈，统一中国。改南豫州为宣州，废宣城郡，治宣城（宛陵故城）。大业三年（607）四月宣州改宣城郡。
大业十三年（617），杜伏威 （598～624） （注：隋末农民起义首领）据历阳（今和县历阳镇）称总管，控制江南地区。 武德三年（620），杜伏威进占丹阳（今南京），并建国称吴。不久，降唐。唐高祖李渊改隋朝的宣城郡为唐朝的宣州，治宣城。
唐开元二十一年（733）， 地方行政区划实行道、府（州）、县三级管理。
天宝元年（742），改二级府（州）为郡，实行道、郡、县三级管理。宣州为宣城郡。
至德二载（757）十二月，仍废郡为府（州），实行道、府（州）、县三级管理。废宣城郡。
