Изначально бюст установили на Соборной площади, которая в 1898 году в честь этого события была переименована в площадь Гоголя. На данный момент постамент находится на III Гвардейской, куда был перенесен в начале XX века. Городская легенда гласит, что памятник поставили не в конце XIX века, а в 1872 году, когда произошел скандал на постановке гоголевского Ревизора в местном театре, приуроченной к двадцатилетию со дня смерти писателя. Актеры очень правдиво и естественно передали образы городских чиновников и местных аристократов. По окончании спектакля городской глава взбесился, выскочил на сцену и спровоцировал большую драку. После этого случая жители города самостоятельно собрали средства на изготовление памятника Гоголю и установили его прямо напротив окон дома городничего.