В 1648 году город при поддержке горожан был освобожден от поляков казаками, и в крепости разместились уже они. После "воссоединения" с Московией нежинские казаки выгоняли присланных воевод. Московский князь Ромодановский захватил город и отдал его на разграбление своим солдатам, а после просто сжег. Крепость тоже пострадала при пожаре, но она была восстановлена, как это делалось и неоднократно позже вплоть до 1745 года, когда ее перестроили. В ходе реконструкции укрепление приобрело прямоугольную форму, по углам которого строение было организовано так, что огонь можно было вести и прямой, и фланговый. К 1766 году в крепости были два пороховых погреба, караульные помещения и полковая канцелярия, оружейный двор, два склада с припасами, каменная церковь и жилые дома. Однако сильный пожар в конце XVIII века, уничтоживший более сотни строений, значительно повредил и крепость. В начале XIX века на этом месте расположился городской базар. До нашего времени из крепостных сооружений остались один пороховой погреб, двухэтажный острог, в котором сейчас находится пункт скорой помощи, и храм Богоявления, построенный в 1721 году.