早在1923年，合肥有了第一所公共图书馆---合肥县立中和图书馆。1958年，“合肥市图书馆”被批准建制。当时馆舍面积250平方米，工作人员3人，藏书近万册；1968年市图书馆并入市文化馆；1973年市图书馆迁回市中心徽州路134号（现美菱大道612号），1974年建馆舍大楼，建筑面积2010平方米，1978年竣工。1977年郭沫若先生为该馆题写馆名。
