春秋时代，黄山属吴越之地。
战国中后期，越国为楚国所败，走向衰亡，黄山属楚国。
秦代设置郡县，黄山地处章郡，设歙县与黟县。
汉承秦制，增设州（刺史部）行政区，黄山属扬州丹阳郡歙县与黟县。
东汉时，黄山仍属扬州丹阳郡。
三国时，黄山属吴国，为吴国扬州新都郡。
西晋时，南北短暂统一，黄山属扬州新安郡。
东晋时，中原大乱，司马氏南迁长江流域，黄山属扬州新安郡。
南朝宋时，黄山属东扬州新安郡。
南朝齐时，黄山属扬州新安郡。
南朝梁时，黄山属东扬州新安郡。
南朝陈时期，长江以北为北周与北齐占据，黄山属东扬州新安郡。
隋朝恢复郡县两级行政，黄山属新安郡。
唐代实行道州县制度，黄山属江南东道歙州。
十国时，黄山属吴与南唐歙州。
北宋时改道为路，黄山属江南东路歙州。
南宋时，黄山属江南东路徽州，安徽之徽由此而来。
元代设置行中书省，黄山属江浙行省徽州路。
明代时调整行省边界，黄山属南直隶徽州府。
清代初期将南直隶（江南省）一分为二，黄山属徽州府，安徽之徽即取自徽州府。
