В 1884 году управлением Российской железной дороги были выкуплены у князя Паскевича 4 здания под размещение в них железнодорожной больницы (современный адрес здания – ул. Первомайская, 2).
В 1917 году в городе Гомеле медицинскую помощь железнодорожникам оказывали 1-я узловая больница на 100 коек и 2 приемных покоя.
В 1923 году Гомельская узловая больница была расширена до 150 коек. В больнице работало 60 хирургических, 25 гинекологических, 10 нервных, 15 туберкулезных, 40 родильных и 45 терапевтических коек.
В 1937 году функционировали 1-я и 2-я узловые больницы на 195 коек.
С 1952 года функционировали 2 железнодорожные больницы: дорожная и отделенческая, которые в июне 1955 года были объединены в одну Отделенческую больницы на ст. Гомель.
Новое здание ЛПУ «Отделенческая больница на ст. Гомель» было заложено в 1984 году, сдано в эксплуатацию в 1986 году.
В декабре 2006 года произошла реорганизация больницы путем выделения из ее состава поликлиники. В ноябре 2007 произошла реорганизация ЛПУ «Отделенческая клиническая больница на ст. Гомель БелЖД» путем присоединения к нему учреждения «Гомельский городской клинический родильный дом». Одновременно изменилось наименование больницы, которая стала называться учреждением здравоохранения "Гомельская городская клиническая больница № 2".
03.01.2022 года в составе рентгеновского отделения открыт кабинет рентгенокомпьютерной диагностики. Установлен мультиспиральный аппарат рентгеновской компьютерной томографии «Ventum-128». Данный аппарат КТ позволяет делать до 128 срезов, за короткий промежуток времени, что уменьшает лучевую нагрузку на пациента и позволяет максимально точно построить изображение исследуемого органа и установить диагноз.
01.08.2022 года в учреждении открыт центр «Соматические заболевания и беременность». Данный центр – это современное лечебно-диагностическое подразделение, которое специализируется на комплексном решении вопросов диагностики, лечения и профилактики соматических заболеваний у женщин планирующих беременность, во время беременности и в послеродовом периоде.
