Херсонская общественная библиотека была основана 18 июня 1872 года и стала первой публичной библиотекой города. Инициаторами её создания выступили представители херсонской интеллигенции во главе с Григорием Ге. Это была первая городская организация, открытая по инициативе и на средства самих жителей.

Первые годы библиотека размещалась в помещениях Дворянского собрания, однако с ростом книжного фонда возникла необходимость в собственном здании. Средства на строительство собирались более десяти лет благодаря пожертвованиям горожан, общественных организаций и поддержке городской думы.

В 1896–1897 годах по проекту архитекторов Николая Толвинского и Феликса Гонсиоровского было построено новое здание в неогреческом стиле. Его фасад украшали колонны, фронтон с гербом Херсона и широкие парадные лестницы. В 1898 году здесь открылись Губернская учёная архивная комиссия и археологический музей, что сделало библиотеку одним из главных научно-культурных центров города.

В начале XX века библиотека пользовалась большой популярностью среди жителей Херсона. Здесь работал бесплатный читальный зал, выписывались десятки периодических изданий, проходили встречи научных обществ и представителей городской интеллигенции. Библиотека стала важным центром общественной и культурной жизни.

В советский период учреждение продолжило работу, а его книжный фонд постоянно увеличивался. В 1987 году библиотека переехала в новое здание, получив статус областной универсальной научной библиотеки. Историческое здание сохранилось и сегодня является одним из узнаваемых архитектурных памятников Херсона.

Херсонская общественная библиотека занимает особое место в истории города, оставаясь символом просвещения, общественной инициативы и культурного развития Херсонщины.