Здание бывшей шелково-суконной фабрики было построено довольно быстро, стиль здания – классика. Доподлинно не известен точный автор, то ли Стасов, то ли Волков, в разных источниках разные данные. В те времена на фабрике трудилось более двух тысяч человек, ткали отличного качества сукно разнообразных цветов. Но фабрика проработала не долго, она оказалась убыточной, из-за большого количества административного персонала и малой производительности крестьян. Часть фабрики использовалась под склады, а часть была заброшена. В 1880 году здания фабрики были отданы для управленческого аппарата железной дороги и для различных складов. Когда железнодорожный аппарат перебрался в новое здание, то здание бывшей шелково-суконной фабрики занял Первый хлебный завод города.