1963年阜阳地区暴发传染病，阜阳专署医院(现阜阳市人民医院)传染病科收治压力过大，连再加病床的地方也没有了。同时，因该院处于阜阳老城区人口密集的小隅口，阜阳专署卫生局遂决定将阜阳专署医院传染病科西迁至西郊原阜阳卫校旧址，(即现在的阜阳市精神病医院院址)。文革期间，卫生部被扣上“城市老爷卫生部”的帽子，阜阳专署医院传染病科也因系为“城市老爷”服务的而被取缔，大部分人员被“下放”，留少数人员随传染科迁回阜阳专署医院。

十年浩劫大串连，引起流脑大流行，最多一夜有98个流脑要抢救，其他传染病象出血热、肝炎、肺结核也大量增多。1972年5月，阜阳专区革命委员会决定在原荣军疗养院旧址（现阜阳市第二人民医院院址）建立阜阳地区第二人民医院，为副处级医疗机构，下设精神病所、传染病所和肿瘤所（未建成），由时任行署卫生局副局长李华斋兼任院长。

1972年5月10日，精神病所由现阜阳市第二人民医院家属院北迁至原阜阳专署医院传染病科原址（即现阜阳市精神病医院院址）。

1972年8月5日，精神病所正式设男、女两个病区，设置床位96张；传染病所于1972年7月建立传染科（一病区）和肺科（二病区）两个科室，传染科主要收治出血热、麻疹、肝炎、脑炎等传染病，肺科主要收治结核病人。

1974年1月17日，阜阳地区行署下文撤销阜阳地区第二人民医院，分别设立阜阳地区传染病医院和阜阳地区精神病医院，均为副县级医疗机构。3月15日，两家医院正式分开。

1984年8月，肝病科（三病区）从传染科中独立出来（1986年8月1日，肝病科再次分出肝二科，即五病区）。1985年，阜阳地区传染病医院肺科即二病区分为男肺科和女肺科（四病区）。

1980年肺科专家周质胜任副院长，当时在医疗设备条件远远落后于经济和人口发展的情况下，大量病人看病难、住院难，一人患两种以上疾病，常被医院间相互推诿，象肝炎产妇临产不让进产房，肺结核、肝炎病人合并阑尾炎，或其他急腹症要转院，难！肺癌病人逐年增多，有的要手术须转外地，给病人增加很多困难，特别是我们所面对的病人，绝大部分是农民。周质胜初步产生了要方便病人，提高传染病医院综合医疗服务能力的设想。

1984年，周质胜任院长后，果断地提出医院要走以传染病科为主的“大专科”和兼发展其他有关学科的“小综合”之路。从此，以“大专科、小综合”为特色的阜阳地区传染病医院，在克服各种困难和较大阻力的情况下，由于受到广大病人的欢迎及社会的赞誉和支持下，得到较快地发展，曾有数家兄弟单位前来参观学习或传经送宝，坚定了医院的改革方向。

1986年6月26日，经阜阳地区编制委员会批准，明确阜阳地区传染病医院为副县级，内设机构6个，核定编制260人，其中单位负责人3人，科室负责人11人，行政管理人员19人，各类专业人员172人，工勤人员55人。

1996年，阜阳地区撤地建市，阜阳地区传染病医院随之改为阜阳市传染病医院。

经过几代“二院人”的不懈努力，医院规模不断扩大，服务功能日臻完善，1997年4月15日，经阜阳市机构编制委员会批准[市编委字（97）第29号]，将阜阳市传染病医院更名为阜阳市第二人民医院，明确为正县级事业单位，核定领导职数为一正三副。同年，在全国专科医院中，首家按照综合医院标准，通过二级甲等医院评审，成为以“大专科、小综合”为特色的二级甲等综合性医院。后经省卫生厅注册，为“阜阳市第二人民医院和阜阳市传染病医院”一个机构，两块牌子。

1997年12月30日，获批为蚌埠医学院教学医院。

2007年3月，医院被批准为安徽医科大学教学医院。

2008年2月，经市编委批准，病床数由450张增至740张。

2009年9月，医院荣批为安徽医科大学阜阳市二院研究生班教学点。

2010年10月22日，安徽医科大学以校教[2010]38号文件批准医院为安徽医科大学阜阳传染病临床学院。

2010年4月，医院启动创建安徽省首家三级传染病医院，12月16日省卫生厅专家组对医院创建三级甲等传染病医院进行预评审。

2011年1月16日-18日，经省卫生厅三级医院专家评审团评审，在全省首家通过三级甲等传染病专科医院评审，正式成为以“强专科、大综合”为特色的三级甲等专科医院。

2011年4月16日，我院举行了三级甲等医院揭牌仪式。中国工程院院士、中国医学科学院院长、中国协和医科大学校长刘德培，省卫生厅厅长高开焰，市领导亓龙、宋家伟、耿玲、倪建胜、李志伟、黄珍、张友谊等出席揭牌仪式。刘德培、高开焰为我院“三级甲等医院”揭牌。

2012年1月9日，阜阳市发展和改革委员会以发改社会[2012]10号文件批复，医院编制床位由740张扩至1000张。