Первая херсонская мужская гимназия ведёт свою историю от уездного училища, открытого в 1813 году по инициативе херсонского губернатора И. Х. Калагеорги. Училище стало подготовительной базой для формирования первого гимназического состава.
Официальное открытие гимназии и её освящение состоялись 12 марта 1815 года и были приурочены к вступлению на престол императора Александра I. Учебные занятия начались 1 сентября 1815 года в специально построенном одноэтажном здании на Суворовской улице.
В административном отношении гимназия подчинялась Харьковскому университету, а с 1833 года — Одесскому учебному корпусу. Учебное заведение стало одной из первых гимназий, открытых в черте оседлости вскоре после образования Херсонской губернии.
В 1816 году в гимназии был открыт пятый класс, в последующие годы — шестой и седьмой. Расширение учебной программы потребовало увеличения помещений, и до завершения перестройки здания в 1822 году занятия временно проходили в доме генерал-майора Лобри.
В середине XIX века гимназия вновь столкнулась с нехваткой площадей. По инициативе директора Отто Фёдоровича Эльснера и при поддержке городского самоуправления и меценатов было принято решение о строительстве нового здания.
При директоре Захаре Васильевиче Коленко по проекту архитектора Людвига Тоннеса в западной части Соборной площади было возведено новое здание гимназии. Его освящение состоялось в 1863 году, а занятия начались 1 сентября 1864 года. В 1866 году при поддержке губернатора П. Н. Клушина в здании была устроена домовая церковь Святого Александра Невского.
В дореволюционный период гимназия считалась одной из передовых в Российской империи и сохраняла высокий уровень преподавания вплоть до событий 1917 года. В 1919 году учебное заведение было закрыто.
В 1920-х годах в здании была открыта фабрично-заводская школа, в 1935 году — первая средняя школа города. После освобождения Херсона в 1944 году учреждение получило номер 20, а в 1991 году ему был возвращён статус гимназии.
Первая херсонская мужская гимназия — уникальный исторический объект, который хранит память о развитии образования в Херсоне и остаётся важной частью культурного наследия региона.