Спочатку бюст було встановлено на Соборній площі (1898 року), яка після цієї події була перейменована на площу Гоголя (тепер знову Соборна). На початку XX століття постамент перенесли на інше місце, де він знаходиться й досі (III Гвардійська). Кажуть, що пам’ятник встановили не 1898, а 1872 року, після скандалу на постановці «Ревізора» в місцевому театрі, що була приурочена двадцятиріччю з дня смерті письменника. Актори дуже правдиво і природно передали образи міських чиновників і місцевих аристократів. Після закінчення вистави міський голова, перейнявши все на себе, сказився, вискочив на сцену, дав ляпаса актору, чим спровокував велику бійку. Після цього випадку жителі міста самостійно зібрали кошти на виготовлення пам’ятника Гоголю і встановили його навпроти вікон будинку городничого.