徽州地区历史悠久，源远流长。据1955年与1981年在绩溪县发现的两处新石器时代遗址考证，早在六千年前，翚岭（即徽岭）南北就有人类活动，《山海经》载有“三天子都”旧名，亦即今徽地之属。传说公元前二十一世纪以前，本区尚属海滨之地，东南即大海，境内为异族共工氏占据。公元前二十一世纪以后，西周以前，据《禹贡》天下分九州本区属扬州，即所谓“蛮夷”所属之地。
春秋时，公元前473年以前属吴；公元前473年以后，吴亡属越；公元前306年以后，越亡属楚。实际上当时吴、越、楚三国并存，战争频繁，本区被作为拉锯战争之地辖属时有变动。
公元前222年秦始皇一统六国，分全国为三十六郡。本区设黟、歙二县，属会稽郡（治山阴，即今浙江绍兴）。楚汉之际属鄣郡（治故鄣，今浙江长兴）此时之歙县包括今歙、休宁、婺源、绩溪、淳安、遂安等地；黟县包括今黟县、祁门、石台等地。楚汉战争之际，本区一度为项羽所占，作为其功臣梅鋗之封邑，不久为汉将陈婴所占，属汉。
汉高祖六年（前201年）黟、歙属荆国（治今淮南）。十二年（前195年），黟、歙属吴国（治今江苏沛县）。汉景帝前元三年（前154年），黟、歙属江都国（治今江苏扬州）。汉武帝元狩二年（前121年），置丹阳郡（治宛陵，今安徽宣城），设十七城，歙、黟为其二城。元狩六年（前117年），立武帝子刘胥为广陵王，歙、黟属广陵国（治广陵，今扬州），汉宣帝五凤四年（前54年），刘胥获罪自杀，国除，复为丹阳郡之属。汉成帝鸿嘉二年（前19年），立原中山靖王刘胜之裔刘云客为广德王（治广德，今安徽广德），黟县属丹阳郡；歙县仍属丹阳郡。永始元年（前16年），刘云客死，无子，国除，黟县复属丹阳郡。汉平帝元始二年（公元2年），立广川王刘越之裔刘瘉为广德王，黟县复属广德国。王莽篡汉，始建国元年（公元9年），贬汉广德王为公，改黟县为愬虏。东汉光武帝建武六年（公元30年），复名为黟县，仍属丹阳郡。
汉献帝建安十三年（208年）十二月，孙权派部将贺齐出兵消灭歙地所谓“山贼”（实际是对抗孙权的山越、水越和汉人混居而成）金奇、毛甘和黟地陈仆等，将原歙地一分为五，即：歙、休阳县（划原歙以西之地新立）、黎阳县（划原歙以西另一地新立）、新定（划原歙以南之地新立，今浙江遂安）和始新（划原歙以东一地新立，今浙江淳安），加上黟共六县一并从丹阳郡分出，建立新都郡，治始新（今浙江淳安）。三国吴永安元年（258年）休阳县因讳吴主孙休改为海阳县。
晋太康元年（280年），晋灭吴，新都郡更名为新安郡，仍属扬州。所属新定县改为遂安县，海阳县改为海宁县，加上原属之始新、黎阳、歙、黟，仍领六县。
南朝宋孝武帝大明八年（464年），并黎阳于海宁，当时新安郡领五县，即：歙、黟、海宁、遂安和始新。南朝梁武帝普通三年（522年），将原属吴郡管辖的寿昌县（即浙江寿昌县，今并于浙江建德市），划归新安郡，新安郡从此复领六县，即海宁、始新、遂安、寿昌、歙和黟。梁武帝大同元年（535年），析歙县华阳镇，置良安县（一作梁安），郡领县七，不久，废良安县，郡仍领县六。梁武帝承圣二年（553年），将原新安郡一分为二，遂安、始新、寿昌三县仍属新安郡；将原并于海宁的黎阳重新划出，复为二县，加上歙、黟共四县，由新建之新宁郡管辖（即今本区的基本区域），治海宁，与原新安郡并属扬州，此时之新安郡非今之“徽州”，但时仅九年。南朝陈文帝天嘉三年（562年），再次将黎阳县并入海宁县，复将新宁郡并入新安郡，领歙、黟、海宁、始新、遂安和寿昌共六县，隶属东扬州。
隋文帝开皇九年（589年），改郡为州，以州统县，将歙、黟二县并入海宁为歙州，州治设海宁；又将始新县改为新安县，原遂安、寿昌并入新安县，划归婺州（今浙江金华）管辖。歙州辖地仅有原新安郡的一半，即今徽州的基本地域。此后近二十年称“新安”的又非今日之“徽州”。隋文帝开皇十一年（591年）恢复原歙县，并将早先属海宁的篁墩划归歙县管辖，恢复原黟县，并将州治设在黟县，州领歙、黟、海宁三县。开皇十八年（598年），改海宁为休宁，划归婺州（今浙江金华）管辖，不久，复将休宁划归歙州。隋炀帝大业三年(607年)，全国改州为郡，更歙州为新安郡，仍领休宁、歙、黟三县，郡治在歙。不久战乱起，歙县登源〔后属绩溪县〕人汪华起兵，占郡地及附近州郡，自称吴王。大业十二年（616年），汪华迁郡治于休宁，次年（617年），汪华再还郡治于歙。
唐高祖武德四年（621年），改新安郡为歙州。州治歙县，仍领歙、黟、休宁三县。同年汪华归唐，封越国公，并授以歙州刺史，以歙州为总管府，使持节总管歙、宣、杭、睦、婺（今浙江金华）和饶（今江西上饶）六军诸军事。武德七年（624年），改歙州总管为歙州都督。贞观元年（627年），罢都督府，歙州属江南道。唐高宗永徽五年（654年），划歙地一部分新建北野县。歙州领县四：歙、黟、休宁、北野。
开元二十一年（733年），歙州改属江南东道。唐玄宗开元二十八年（740年），又析休宁县回玉乡和邻县乐平（一说鄱阳）的怀金乡，新建婺源县，属歙州辖。歙州领歙、黟、休宁、北野和婺源五县。天宝元年（742年），改歙州为新安郡，治所仍在歙。天宝六年（747年），改黟山为黄山。唐肃宗乾元元年（758年），全国敦郡复州，复改新安郡为歙州，隶属浙江西道节度使，并隶宣、歙、饶观察使。乾元二年（759年），罢浙江西道节度使及宣、歙、饶观察使，以歙州隶之。
唐代宗永泰二年（766年），划歙、休宁二县各一部分设归德县；划原黟县的赤山镇和饶州浮梁县一地设祁门县；划原黟县一部分设石埭县（即石台），并将石埭县划归池州管辖；又析歙县华阳镇设绩溪县。歙州领八县：歙、黟、休宁、婺源、北野、绩溪、归德、祁门。歙州改属宣、歙、池观察使。大历四年（769年），废北野县。大历五年（770年），废归德县，其地并入休宁，歙州领六县，奠定了此后一千余年的“一府六县”建制基础。大历十四年（779年），废宣、歙、池观察使，歙州隶浙江东西道观察使。唐德宗建中元年（780年），分浙江东西为二道，歙州隶浙江西道观察使。建中二年（781年）复合浙江东西二道观察使，设节度使，赐号“镇海军节度使”，歙州属之。贞元三年（787年），又设宣、歙、池观察使，歙州隶之。唐宪宗元和六年（811年），改隶宣州观察使。唐昭宗大顺元年（890年），歙州属宁国军节度使。昭宗天复三年（903年），废宁国军节度使，复宣州观察使。
五代十国时期（907年），唐亡，淮南节度使杨渥仍称唐哀宗天佑年号，歙州附之。919年，歙州隶吴。937年，吴亡，隶南唐。 宋太宗太平兴国元年（976年），江南（南唐于宋太祖开宝四年即971年起贬国号为江南）亡，歙州隶江南西路转运使。真宗天禧二年（1018年），歙州属江南东路转运使。宋徽宗宣和三年（1121年），镇压州人方腊领导的农民起义后，改歙州为徽州。徽州得名始此，仍领六县，治所在歙县。南宋高宗建炎四年（1130年），徽州隶江南路转运使建康府路安抚使。高宗绍兴元年（1131年），隶江南东路转运使。
元世祖至元十四年（1277年），徽州升徽州路，辖县不变，隶江浙等处行中书省江东建康道肃政廉访司（即江浙行省），治杭州路。元成宗元贞元年（1295年），升婺源县为州。徽州路领县五，即歙、黟、休宁、祁门、绩溪；州一，即婺源。
元顺帝至正十六年（1356年），小明王韩林儿升朱元璋为江南等处行中书省平章，徽州路隶江南等处行中书省。次年（1357年）七月，改徽州路为兴安府，仍领县五、州一。至正二十七年（1367年），朱元璋改兴安府为徽州府。明太祖洪武元年（1368年），朱元璋建立明朝，徽州府直属中书省。洪武二年（1369年），降婺源州为县，徽州府仍领六县，即：歙、黟、休宁、绩溪、婺源、祁门。明太祖洪武十三年（1380年），罢中书省，徽州府直属六部。洪武二十九年（1396年），徽州府改隶浙江按察使黟婺分司佥事。明成祖永乐元年（1403年），改隶南京（南京时称南直隶）。嘉靖三十四年（1555年），隶浙江按察司分司徽宁池太道兵备副使。隆庆六年（1572年），隶浙江按察司巡徽宁道兵备副使。
清太祖顺治二年（1645年），改南直隶省为江南省。徽州府改隶江南承宣布政使司，仍领县六。顺治十八年（1661年），江南省一分为二，为江南左承宣布政使司（治南京）和江南右承宣布政使司（治苏州），徽州属江南左承宣布政使司。康熙元年（1662年），徽州属江南左承宣布政使司徽宁道。康熙六年（1667年），江南左承宣布政使司改为安徽布政使司（取安庆、徽州二府之名得），安徽省成立。雍正十一年（1733年），属安徽承宣布政使司安（庆）徽（州）宁（国）池（州）太（平）道（简称安徽道）。乾隆二十五年（1760年），安徽布政使司由南京迁往安庆，徽州隶属未变。咸丰四年（1854年），由于太平天国农民运动兴起，安徽沿江一带成为主战场，故将安徽道江南部分改为徽宁池太广道，由浙江巡抚兼辖。同治四年（1865年），太平天国势力被迫退出，徽州随徽宁池太广道复归安徽省。 徽州历为路、州、府名，直至民国元年（1912年）一月，废府留县，原领县直属安徽省。民国三年（1914年）六月，歙、黟、绩溪、休宁、祁门、婺源、太平、旌德、石埭（即石台）九县划属安徽省芜湖道（此时之“道”亦为行政监察区，而非行政归属）。民国十七年（1928年）八月，废道，直隶安徽省。
民国二十一年（1932年）十月，太平、石埭二县划归安徽省第八行政督察区，旌德县划归安徽省第九行政督察区，休宁、婺源、祁门、绩溪、歙、黟六县划属安徽省第十行政督察区，治休宁。民国二十三年（1934年），由于“剿共”的需要，婺源县划属江西省，婺源与徽州感情极深，不愿脱离母州，人民遂掀起声势浩大、持续二十个月的“婺源回皖”运动。民国二十七年（1938年）四月十五日，第八、第十行政督察区改属国民政府皖南行署，治所设屯溪。同年（1938年）十月二十五日，撤销第九行政督察区，旌德县划归皖南行署，民国二十九年（1940年）三月二十三日，撤销第十行政督察区，歙、黟、休宁、祁门、绩溪、旌德六县改属安徽省第七行政督察区。歙、黟、休宁、祁门、绩溪五县改属安徽省第七行政督察区。民国三十六年（1947年）六月，由于婺源人民的持续抗争和徽州其它县人民的强烈要求，民国二十三年（1934年）划归江西省的婺源县被重新划回安徽省，属安徽省第七行政督察区。民国三十七年（1948年）在解放战争中，国民党安徽省政府一度迁安徽省会于屯溪。
1949年，祁门县于4月26日、休宁、歙县于28日、黟县于29日、绩溪县于30日先后被解放军二野解放；婺源县于5月2日被解放军四野解放，婺源县的解放标志着徽州全境的解放。由于解放婺源县和江西省的同为解放军四野，因此为了便于管理，从此将婺源划归江西省。同年5月13日，中共皖南区党委通知，设徽州专区（治所初在歙县，不久迁往屯溪），属皖南行署（行署初设屯溪，后迁芜湖），改屯溪镇为屯溪市（屯溪原为休宁县一镇），属徽州专区，全区领屯溪市和休宁、祁门、绩溪、旌德、歙、黟六县；太平、石台划属池州专区。1952年2月4日原属皖南行署池州专区的太平、石台二县和原属皖南行署宣城专区的宁国县划属徽州专区，全区共领一市（屯溪）九县（休宁、歙县、祁门、黟县、绩溪、旌德、太平、石台、宁国）。同年4月12日．废行署区，徽州专区属安徽省。1953年12月1日，屯溪直隶安徽省，徽州专区领九县，1955年屯溪降为地辖市。1956年1月12日，撤销徽州专区，原领九县划属安徽省芜湖专区；复升屯溪为省辖市。1957年3月22日黟县并入祁门县，石台分别并入太平、祁门二县。5月16日，将屯溪交由休宁县领导。6月，旌德县并入绩溪县。1960年12月13日改屯溪市为休宁县辖镇。1961年4月13日，重设徽州专区，并将太平县划归本区。同年下半年绩溪、旌德二县分开；8月，宁国县划归本区；8月16日，又改屯溪为地辖市；12月15日，复置黟县，本区领一市八县，1963年5月20日屯溪降为休宁县属镇。1965年7月19日，复设石台县，改属池州地区。1968年7月7日，成立徽州地区革命委员会，属县不变。1971年3月29日，改徽州专区为徽州地区。1974年，太平县划入池州地区，本区领七县。1975年12月19日，复升屯溪为地辖市（县级）。1979年2月27日，改徽州地区革命委员会为徽州地区行政公署。1980年1月2日，宁国县改属宣城地区；同年1月29日，太平、石台二县划归本区，领八县一市，即：歙、祁门、休宁、黟、绩溪、旌德、太平、石台和屯溪市。1983年12月1日，经国务院批准，撤销太平县，设立县级黄山市，以原太平县、歙县的黄山公社、石台县的广阳公社的行政区域和黄山管理局现有辖区为其行政区域，由省直辖。1986年6月4日，省委、省政府发出通知，黄山管理局改由省和徽州地区双重领导，业务上以省为主；县级黄山市由徽州地区代管，其国民经济和社会发展计划单列（由省戴帽下达徽州地区）。徽州地区领七县一市，即：歙、祁门、休宁、黟、绩溪、旌德、石台和屯溪市。
1987年11月27日，经国务院批准改徽州地区为地级黄山市，设立黄山市屯溪区，其行政区域包括原屯溪市、歙县篁墩乡和休宁县梅林乡；改原县级黄山市为黄山区，属地级黄山市；将绩溪县划归宣城地区、石台县划归池州地区。1988年7月地级黄山市正式成立，辖三区四县，即：屯溪区、徽州区（划原歙县岩寺镇和潜口、呈坎、罗田、西溪南、洽舍、福溪、杨村七个乡和郑村乡的瑶村新立）、黄山区、歙县、黟县、休宁县和祁门县。
徽州，就行政区划而言，虽然现仅仅是黄山市下辖一区，但是由于风俗文化的相似性，原徽州六县人民，特别是老一辈，仍然保持着对古徽州的归属感。
