Manoma, jog medinė sinagoga čia buvo pastatyta 1856 metais. Jos vietoje XIX amžiaus pabaigoje pastatyta mūrinė. XX amžiaus pradžioje Alytų niokojo dideli gaisrai. Sinagoga išliko ir buvo atstatyta. Tačiau yra nuomonių, kad 1911 metais ji buvo tiesiog pastatyta. Šalia jos tais pačiais metais pastatytas rabino namas. Per Antrąjį pasaulinį karą sinagoga nebuvo susprogdinta. Sovietmečiu negailestingai niokota, dabar – rekonstruojama ir pritaikoma visuomenės reikmėms.