Село Казацкое упоминается в письменных источниках с 1782 года. Первым владельцем поселения стал граф И.А. Остерман. В 80-х годах XVIII века имение получил граф В.В. Орлов-Денисов. Он построил здесь усадьбу, главный дом, которой был копией московского Румянцевского музея. Здание было выполнено в стиле ренессанс. При усадьбе существовали казарма, конюшня, хозяйственные постройки, разбит большой парк. Князь П.Н. Трубецкой, наследник рода Орловых-Денисовых по женской линии, заложил в Казацком виноградники, построил конный завод. До наших дней сохранились руины дворца, псевдоготический флигель, оборонные стены с парадным входом, каменные ворота и угловая крепостная башня. Усадебный парк находится в запустении. Вблизи усадьбы и винзавода сохранилась сторожевая башня (XVI-XVII век). Сейчас дворец князя Трубецкого находится в частной собственности, планируется реставрация.