Гостиный двор, состоящий из четырёх корпусов, был заложен в 1784 году. Уже в 19 веке Северный корпус продлили вдоль Владимирской улицы — сегодня улицы Свободы. Помимо купеческих лавок в нём размещались Полковая церковь Сергия Радонежского, музей Нежинского полка и Городская Дума.