Каменица представляет собой двухэтажное строение XVIII века с внешней колоритной лестницей. Это самое старое здание города. Стены достигают до 2 метров в ширину и на них можно увидеть портрет Ярослава Мудрого. Под самой Каменицей расположены глубокие подвалы. В разное время здесь находились религиозная еврейская школа, клуб для глухонемых, заезжий двор и склады. Во времена Второй мировой войны в здании располагалось гестапо, потом ‒ музей комсомольской славы. Сейчас в Каменице находится музей декоративно-прикладного искусства, посетить который можно по предварительной записи.