1689 m. Lenkijos karaliaus ir LDK didysis kunigaikštis Jonas Sobieskis suteikė privilegiją teisėtai įsikurti žydams Lazdijuose. XIX-XX a. Lazdijai ne kartą nukentėjo nuo gaisrų, kurių metu itin dažnai nukentėdavo miesto centre žydams priklausantys pastatai. Tolimesnė bendruomenės raida buvo sutrikdyta Pirmojo pasaulinio karo, kurio metu Lazdijų žydai buvo ištremti Carinės armijos, tad daugumą žydų į namus sugrįžo tik pasibaigus karui. Tarpukariu Lazdijuose gyveno 1141 žydai, kas sudarė apie pusę to miesto gyventojų. Mieste veikė Žydų liaudies banko padalinys, žydų biblioteka, pradinė hebrajų mokykla, sinagoga ir beit midrašas.

1941 m. nacių okupacijos metu didžioji dalis Lazdijų žydų buvo nužudyti netoliese esančiame Katkiškių kaimelyje. Dabartinių Lazdijų kultūros centro vietoje iki 1941 m. stovėjo sinagoga ir beit midrašas, kurie sudarė vieningą sinagogų kompleksą (shulhoyf), buvusį pačiame Lazdijų centre, Vilniaus ir senamiesčio gatvių sankirtoje. Turimais duomenimis šis kompleksas buvo pastatytas apie 1830 m. 1941 m. birželio 22 d. sinagogų komplėksas smarkiai nukentėjo nuo vykdomų vokiečių antskridžių. Po miesto bombardavimo iš abiejų pastatų liko tik sienos. XX a. 6 deš. šie pastatai buvo atstatyti, abu pastatus sujungiant į vieną. 1960 m. po įvykdytos rekonstrukcijos iki šių dienų pastate veikia Lazdijų kultūros centras ir biblioteka.