A julio de 2025, la ciudad prefectura de Huangshan se divide en 7 localidades que se administran en 3 distritos urbanos y 4 condados rurales.^[3]​

• Distrito Huangshan (黄山区)
• Distrito Tunxi (屯溪区)
• Distrito Huizhou (徽州区)
• Condado She (歙县)
• Condado Xiuning (休宁县)
• Condado Yi (黟县)
• Condado Qimen (祁门县)

El topónimo Huangshan [/Juáng-shan/] significa "Montes Huang «amarillo»".

En el año 747 durante la dinastía Tang, el emperador Xuanzong cambió el nombre de Yi·shan (montes Yi) a Huang·shan, basándose en la leyenda de que el emperador Huang recolectó hierbas y refinó elixires aquí, alcanzó la iluminación y ascendió al cielo, por lo que las montañas llevan el nombre del emperador y no del color de sus rocas.^[4]​

A lo largo de su historia, la ciudad tuvo varios nombres como Shezhou (歙州) o Huizhou (徽州). Tras la fundación de la República Popular China, evolucionó al Distrito Especial de Huizhou (徽州地区). La jurisdicción cambió con frecuencia hasta noviembre de 1987, cuando el Consejo de Estado englobó la Prefectura Huizhou (徽州地区), la Ciudad Tunxi (屯溪市) y el Condado Huangshan (黄山县) para formar la ciudad de Huangshan con nivel de prefectura.^[5]​

Con la Reforma y Apertura de China, el gobierno buscó promover el turismo y el desarrollo económico. Los montes Huang, ya famosos por su belleza escénica (Patrimonio de la Humanidad por la UNESCO en 1990), era el activo más valioso de la región. Para capitalizar esta fama a nivel internacional y nacional, el 30 de noviembre de 1987, el gobierno central aprobó la organización de la ciudad-prefectura, nombrada directamente por las montañas.

Se cree que la ciudad fue fundada durante la dinastía Jin bajo el nombre de Xin'an. La dinastía Song le dio el nombre de Huizhou. Fue durante este periodo cuando la ciudad empezó a ganar importancia. Se convirtió en el centro de artesanos y comerciantes que desarrollaron prósperos negocios gracias a la situación estratégica en la que estaba situada la ciudad (en la frontera con dos provincias). Huizhou se convirtió en un importante enclave en las rutas comerciales. Con el paso de los años, la importancia de Huizhou fue decayendo. Muchos de los mercaderes regresaron a sus puntos de origen, dejando sin embargo algunas construcciones en agradecimiento a la ciudad que les dio dinero.

• Complejo Tangyue. Se trata de una serie de seis arcos construidos durante las dinastías Ming y Qing. Cada uno de estos arcos representa una virtud, como la lealtad, el amor filial, la castidad femenina y la caridad. El complejo incluye también dos salas, una para hombres y otra para mujeres, situadas a ambos lados de los arcos.
• La Calle Tunxi está situada en la zona antigua de la ciudad y tiene una longitud total de 1,5 km. Fue construida durante la dinastía Song y aún conserva numerosos edificios de ese periodo. Se pueden ver también edificios de los periodos Ming y Qing.
• El jardín de los Bao perteneció a la familia Bao durante las dinastías Ming y Qing. Posee una de las colecciones de bonsáis más importantes del país.

• Zhang Rongqiao (nacido en 1966), físico e ingeniero aeroespacial, fue el diseñador jefe de Tianwen-1, la misión espacial china a Marte
• Gloria Ai (nacida en 1987), presentadora de televisión y escritora.