1972年5月9日，阜阳专区革命委员会决定设立阜阳地区第二人民医院，下设精神病所、传染病所，共有职工64人，设病床50张。

传染病所于1972年7月建立传染科（一病区）和肺科（二病区）两个科室，设病床100张。

1974年1月17日，专区革委会决定撤销阜阳地区第二人民医院，分别成立阜阳地区精神病医院和传染病医院。3月15日，两家医院正式分开。

1984年，全院编制病床为250张。

1985年，经市编委批准，病床数由250张增至300张。

1996年阜阳撤地建市，阜阳地区传染病医院随之改为阜阳市传染病医院，当时全院共有编制床位300张。

1997年4月15日，经阜阳市机构编制委员会批准[市编委字（97）第29号]，将阜阳市传染病医院更名为阜阳市第二人民医院，明确为正县级事业单位。同年，在全国专科医院中，首家按照综合医院标准，通过二级甲等医院评审，成为以“大专科、小综合”为特色的二级甲等综合性医院。后经省卫生厅注册，为“阜阳市第二人民医院和阜阳市传染病医院”一个机构，两块牌子。

1997年，经市编委批准，病床数由300张增至450张；

2008年2月，经市编委批准，病床数由450张增至740张。

2012年1月9日，阜阳市发展和改革委员会以发改社会[2012]10号文件批复，医院编制床位由740张扩至1000张。