У 1648 році місто за підтримки городян було звільнено від поляків козаками, і в фортеці розмістилися вже вони. Після "возз’єднання" з Московією ніжинські козаки виганяли воєвод. Московський князь Ромодановський захопив місто і віддав його на поталу своїм солдатам, а згодом просто спалив. Фортеця теж постраждала під час пожежі, але її було відновлено, як це не раз робили аж до 1745 року, коли її перебудували. Під час реконструкції укріплення прибрало прямокутну форму, а по кутах будівлю було організовано так, що можна було вести і прямий, і фланговий вогонь. До 1766 році в фортеці були два порохових погреби, приміщення для сторожі та полкова канцелярія, збройовий двір, два склади з припасами, кам’яна церква і житлові будинки. Однак сильна пожежа наприкінці XVIII століття, яка знищила понад сто будівель, значно пошкодила і фортецю. На початку XIX століття на цьому місці розташувався міський базар. До нашого часу з фортечних споруд залишилися один пороховий льох, двоповерховий острог, в якому зараз знаходиться пункт швидкої допомоги, і храм Богоявлення, побудований у 1721 році.