Начало строительства пороховых складов относят к 1778 году, так как проходила модернизация укреплений города и решили построить более просторные склады для хранения запасов пороха. В целях безопасности склады строились в каньоне на окраине города, недалеко от берега реки, чтобы в случае пожара до воды было недалеко. Архитектором выступил военный инженер Ян де Витте, но достроить ему не удалось, а продолжал строительство капитан Петр Завадский. Склад представляет собой одноэтажное прямоугольное строение длиной 44 метра и шириной более 20 метров. В некоторых помещениях есть прямоугольные окна. Высота здания около четырех метров, сверху насыпан толстый шар земли. Толщина стен в среднем составляет 1,8 метра. Внутри помещений у стен были устроены стеллажи. С 1812 года здание опустело, так как в нем больше не было необходимости. В 1834 году состоялась реконструкция под руководством архитектора Симеона Учты. В XIX-XX веках также был проведен ряд перепланировок, поэтому до наших дней сохранился только один восточный ризалит. Из девяти оконных проемов сохранилось только два, первоначальный декор фасадов практически полностью утрачен. Каменная ограда 1834 года также неоднократно перестраивалась, и ее первоначальный вид сейчас определить практически невозможно.