Здание предназначалось для хранения в нем оружия, казацких клейнодов, полкового имущества. Построено оно из местного кирпича на известковом растворе и оштукатурено. В плане строение имеет прямоугольную форму, однокамерное. В здании глубокое подземелье с многочисленными нишами в стенах метровой толщины, перекрытия – полуциркульные, как и окна строения. Торцы здания украшены барочными фронтонами, что не характерно для подобных строений. Декор фасадов – пилястры, ниши и профилированный карниз. Все здание в целом выдержано в стиле украинского барокко. Сейчас это строение периода расцвета казацкого барокко находится на территории Спасо-Преображенского собора. В 90-х годах ХХ века при прокладке коммуникаций рабочие наткнулись на забытое кладбище казацких времен. Оно было на берегу Муховца возле стен крепости между Пирятинскими и Роменскими воротами. В ходе работ обнаружили хорошо сохранившийся гроб с мумифицировавшимся естественным путем телом казака с простреленным виском. Сохранилась даже его одежда. Сотрудники музея перенесли гроб с телом в здание полковой казны, а в 1995 году перезахоронили возле нее. На могиле установлен небольшой памятник – надпись "Неизвестный казак XVIII столетия" и крест.