Здание синагоги расположено недалеко от Троицкого костела за сквером. О проживании евреев в поселке Олеско известно из архивов за 1579 год. В 1608 году здесь была построена первая деревянная синагога, а уже в XVIII веке – новая каменная. С годами численность евреев на территории поселка возрастала, здесь построили еврейскую школу, банк, еврейское училище. Депортация евреев состоялась во время нацистской оккупации. Поскольку в наше время еврейская община в поселке отсутствует, здание пустует и постепенно приходит в упадок.