衡山县地在《禹贡》（《尚书·夏书》篇名。此篇将当时中国划分为九州，分别记述其山川、物产、交通、贡赋，保存了重要的地理资料）荆州（古九州之一。《禹贡》云：“荆州及衡阳惟荆州，北据荆山，南及衡山之阳”）之境（尧时衡山在荆州南境。舜时属荒服。夏商未变，先后为三苗蛮族和扬越杂居之地），天文翼轸（yì、zhěn，翼、轸均为28宿之一。南方有井、鬼、柳、星、张、翼、轸7宿，称朱鸟七宿。首位称鹑首，中部〈柳、星、张〉称鹑火，末位称鹑尾）分野，鹑尾（chún，鹑尾为星次名，指翼轸二宿，古以为楚之分野）之次，本周麇（jūn）子国（另一说为糜子国。本志和《嘉靖衡州府志》等古籍都如此记载。对此，学术界有两种不同观点。①认同。即麇国或麇子国，在今湖北省郧西县天河一带，周匡王三年，周与楚战，楚大败，庸国率臣服于楚的小国麇子，罗、百濮、蛮等叛楚。楚庄王率楚军以退为攻，各个击破，灭了庸、罗、百濮等十余小国，然后集中兵力攻麇子。经七战，败麇子。麇子人败逃至湖南衡山县草市、杨林、高塘、南湾及攸县一带，立稳足后，进驻今衡山县城等地，复立国麇子国，故衡山县春秋时称为麇子。②否认。见岳麓书社1994年12月出版发行的《衡山县志》第716页和《辞海》关于“麇人”注释），春秋时为楚（周安王15年属楚）。秦并天下，隶长沙郡（秦始皇24年）。汉（汉高祖元年复属楚，汉高祖五年）封为长沙国湘南县地（新始建元年，废长沙国，湘南县改属荆州填蛮郡。东汉建武元年，属荆州长沙郡湘南候国。建安13年，为刘备所占。建安20年，湘江东西一带分别为孙权、刘备割据。建安24年，改属孙）。三国时置衡阳县，隶衡阳郡（三国时吴大帝黄龙元年属吴，吴会稽王太平二年即公元257年，立衡阳郡兼置衡阳县〈非今衡阳县〉、湘西县，辖今衡山县、南岳区及湘潭县涓水以东和株洲县湘江以西地区），其地（县治）在今兜率寺（今永和乡老粮仓一带）侧，距今县治二十余里。晋改曰衡山（西晋惠帝永熙元年即公元290年，衡阳县更名衡山县，属荆州衡阳郡，辖区与原衡阳县同。永嘉元年8月，改属湘州。东晋义洗十三年，复属荆州。南北朝宋永初元年，重属湘州衡阳郡）。隋以湘西、湘乡二县省入，隶潭州（隋开皇九年，湘乡、湘西两县并入衡山县，属长沙郡，县城迁湘西县城即今株洲市淦田一带）。（大业三年，改衡州为衡山郡，属荆州，领衡阳、淶阳、湘潭、新宁四县）。大业六年（辖今衡山县、南岳区、湘乡县、双峰县全境，湘潭县、湘潭市区、株洲县、株洲市区湘江西部地区和望城县湘江以西南部地区），迁治于白马峰下（今衡山县开云镇环溪村一带）。（唐武德4年，析出湘乡县。贞观元年，属江南道长沙郡。神龙二年，改属衡山郡，辖区与晋时同）。唐神龙三年，御史马目襄奏复旧治，其后又以水患改迁白茅镇，南临湘水百二十步，即今县治也（开元21年，属江南西道采访使。天宝元年，衡山郡改名衡阳郡，衡山县属之。天宝8年，湘江对岸原湘潭县部分地区划入，时衡山县辖今衡山县、衡东县、南岳区和安仁县部分山区。五代后梁开平元年，属南楚衡州）。晋天福五年，属潭州。未几，复隶衡州。宋乾德三年，又属潭州。淳化三年，复属衡州。四年，因茶盐制置使雷有终请，遂定为潭之属县（至道3年，属湖南路潭州长沙郡。咸平5年，划东南部地区给安仁县。景炎2年，属湖广行省潭州路。元天历2年，潭州路更名天临路。至正24年，改天临路为衡州府，衡山县属之）。明朝洪武初，仍隶衡州府。编户三十二里（旧时县以下的行政单位），后并为一十七里。案：在城一厢，在外六乡，分十六里。疆域：东西广一百六十里，南北袤一百八十里。里至：冬至攸县，地名井冲为界，一百二十里。西至衡阳县，地名九渡铺为界，四十五里。南至茶陵县，地名黄茅铺为界，北至湘潭，地名柘塘铺为界，三十五里。东到攸县一百八十里。西到衡阳县一百里。南到茶陵县一百九十里。北到湘潭县一百八十里。东南到醴陵县九十五里，西南到安仁县二百三十里。东北到善化县（系宋朝划长沙县五个乡，湘潭县两个乡而设。1912年并入长沙县）二百八十里。西北到湘乡县一百六十里。形胜：南临湘水，北负开云，衡岳诸峰，磅礴蜿蜒，三面环拱如城。湖以南郡县之治，雄壮奇胜莫能有过之者。欧阳永叔（欧阳修）云：“山川秀丽称衡湘”，岂虚语哉！？                

    上文来源：摘自2013年《重印明弘治衡山县志》          

后，清属衡州府，民国废府存县，直隶湖南省。

1949年，中华人民共和国成立时，衡山县域范围包括今衡山县、衡东县、南岳区，属衡阳专区管辖。1951年12月，划出南岳及其附近山区，建南岳特别区。1952年7月，南岳特别区撤销，归入衡山县建制。同年11月13日，衡山县改属湘南行政区。1954年，重属衡阳专区。1960年4月，南岳管理局升格为县级行政单位，原南岳公社划分为南岳公社和南岳镇，归属南岳管理局。1961年3月，南岳管理局将南岳公社组建为南岳、店门、祝融、师古4个人民公社，南岳镇不变。同年11月，新桥、马迹、东湖、江东、贯塘、白果、松柏、望峰、贯底、棠兴10个公社划入南岳管理局。1963年6月，南岳管理局更名为南岳县，辖原南岳管理局15个社（镇）。1966年2月，撤销南岳县，将其行政区域划归衡山县，同时析出湘江以东地区建衡东县。1983年，地市合并，衡山县属衡阳市管辖。1984年5月，析县境中部南岳镇、南岳乡及后山的东湖、马迹、望峰3个乡中的10个村建县级南岳区，直属衡阳市管辖。2005年，开云镇与师古乡合并设立新开云镇。

根据湖南省委、湖南省人民政府乡镇区划调整改革工作会议精神和《关于开展乡镇区划调整改革工作的意见》(湘发〔2015〕15号)的相关规定，我县于2015年10月29日下发《衡山县乡镇区划调整改革实施方案》，《方案》明确：东湖镇和马迹镇合并，设立新的东湖镇，乡镇驻地在原东湖镇驻地；白果镇和长青乡合并，设立新的白果镇，乡镇驻地在原白果镇驻地；岭坡乡和望峰乡合并，设立新的岭坡乡，乡镇驻地在原岭坡乡驻地；萱洲镇和贺家乡合并，设立新的萱洲镇，乡镇驻地在原萱洲镇驻地；开云镇和沙泉乡合并，设立新的开云镇，乡镇驻地在原开云镇驻地。本次乡镇区划调整，衡山县乡镇由17个调整为12个，减少5个，除上述新设的开云镇、萱洲镇、东湖镇、白果镇、岭坡乡外，永和乡、长江镇、福田铺乡、新桥镇、贯塘乡、江东乡、店门镇七个乡镇的名称和驻地保持不变。