怀化学院由1958年创建的黔阳师范专科学校演进而来。期间,学校曾因故两次停办,五度更名。
1958年3月,黔阳专署提出创办黔阳师范专科学校的设想。6月,湖南省委和省教育厅报教育部同意,在黔阳县(今洪江市)清香坪设黔阳师范专科学校,并附设中师部(黔阳师范),开设中文、数学科。1960年后增设俄语专科,学制两年。
当年11月,学校更名为黔阳专区师范学院;次年7月,学校恢复黔阳师范专科学校名。
1962年6月,为响应中共中央对教育事业特别是高等学校和中等专业学校进行调整的号召,省教育厅明确黔阳师专停办;仅留函授部改设为高师函授教学辅导站,作为湖南师范学院的派出机构;当年所招新生和部分教师并入邵阳师专,大部分教师、干部及校产移交黔阳师范。同期,辰溪师范并入黔阳师范,担负起全区师资培养的任务。