З дозволу польського короля Сигізмунда ІІІ та за сприяння єврейської громади міста в 1620 році була відкрита синагога. Багато років Малий замок виконував релігійні та освітні функції, але з початком Другої світової війни був закритий. Роботу синагоги частково було відновлено в 1970 році, але незабаром знову було припинено. Архітектурне рішення будівлі повністю відповідає тенденціям XVII століття – молитовний зал і п’ятиярусна вежа квадратної форми, а також наявність безлічі ніш. Будівля синагоги оповитf легендами. За однією з версій Малий замок з’явився в результаті перебудови одного з палаців князя Любарта. Також подейкують, що синагога є частиною системи укріплень Луцька. Правда, документальних підтверджень у цих легенд немає. На сьогоднішній день Малий замок – це пам’ятка, яку точно варто побачити. У самій будівлі hjpvsotybq спортивний клуб.