У будівлі в стилі українського бароко мали зберігати зброю, козацькі клейноди, полкове майно. Її зведено з місцевої цегли на вапняному розчині. У плані будова є прямокутною та однокамерною. Є тут і глибоке підземелля з численними нішами в стінах метрової товщини, а перекриття, як і вікна будівлі, є напівциркульними. Торці прикрашено бароковими фронтонами, що загалом не є характерним для таких споруд. Декоровано фасади пілястрями, нішами та профільованим карнизом. Наразі ця будівля періоду розквіту козацького бароко знаходиться на території Спасо-Преображенського собору. У 1990-х роках, прокладаючи комунікації, робітники натрапили на забуте кладовище козацьких часів на березі Муховця біля стін фортеці поміж Пирятинських і Роменських воріт. Під час робіт виявили добре збережену труну з тілом козака з простреленою скронею, що муміфікувалося у природний спосіб (зберігся навіть одяг). Співробітники музею перенесли труну із тілом до будинку полкової скарбниці, а в 1995 році перепоховали біля арсеналу. На могилі, де зазначено "Невідомий козак XVIII століття", встановлено невеличкий пам’ятник і хрест.