衡山县人口和计划生育局是负责全县人口和计划生育管理服务的政府工作部门。内设办公室、政策法规股、科学技术股、计划统计股、财务股、人事股、奖扶办等7个股室。下设计划生育宣传指导站、计划生育药具管理站、社会抚养费征收办公室、计划生育技术服务站等4个二级机构。