Pirmieji žydai Kalvarijos miestelyje minimi nuo XVIII a. pradžios. 1713 m. valdovas Augustas II savo privilegija suteikė miestelio žydų bendruomenei (kahalui) savivaldos teises, leido statytis sinagogą ir įsteigti kapines. Pirmoji medinė Kalvarijos sinagoga minima 1752 m. Senajai sinagogai sunykus, 1803 m. pastatyta nauja barokinė plytų ir akmens mūro sinagoga, kuri iki XIX a. vidurio buvo miesto žydų bendruomenės centras. XX a. pradžioje ši sinagoga buvo rekonstruota: nugriautos prie šonų prisišlieję moterų galerijos ir vakarinis priestatas, uždengtas naujas stogas, vyrų salės tūryje įrengtas balkonas moterims, turintis atskirą įėjimą.

Barokinės sinagogos pastato tūris vientisas, planas artimas kvadratui. Šiauriniame kampe yra laiptai į antro aukšto moterų galerijas. Vidaus erdvė suskaldyta į 9 dalis keturiomis aštuoniakampio skerspjūvio kolonomis. Atskiras prieangis sujungtas su sale trimis arkiniais perėjimais. Apibrėžta kolonomis Bimos vieta yra pastato centre. Pietryčių sienoje Aron kadešo nišą riboja žemi, platūs piliastrai. Antrame aukšte esančios moterų galerijos (U raidės plano) užima visą sieną virš prieangio bei trečdalį šoninių sienų. Tai viena iš vertingiausių mūrinių sinagogų Lietuvoje. Sparčiai gausėjančiai Kalvarijos žydų bendruomenei buvo nuspręsta statyti antrąją erdvesnę sinagogą. Jos projektą 1857 m. parengė architektas Leopoldas Salkovskis, kuris kartu suprojektavo ir Talmudo mokyklos (Rabino namo) pastatą.

Naujoji eklektinio stiliaus sinagoga iškilo į pietus nuo senosios sinagogos pastato. Tuo pačiu metu greta buvo pastatyta ir Talmudo mokykla. Naujoji sinagoga dar vadinta žiemine, nes skirtingai nuo senosios, žiemos metu buvo apšildoma. Eklektinė sinagoga irgi kvadrato formos. Prieangio ir abipus jo esančių patalpų plotai vienodi. Aron kadešas buvo vyrų salės centre, atskirtas keturiomis plonomis kolonėlėmis. Pagrindinis pastato fasadas simetriškas, vidurinėjo jo dalyje įėjimą akcentuoja platus rizolitas, užbaigtas stilizuotu frontonu su trimis bokšteliais. Taludo mokyklos (Rabino namo) pastatas vienaaukštis, sumūrytas iš geltonų plytų, o fasadinė dalis paįvairinta raudonų plytų ornamentais. Virš pagrindinio įėjimo Dovydo žvaigždė. Pastato viduje buvo kelios didelės patalpos klasės. Taigi Kalvarijos sinagogų kompleksą sudaro dvi sinagogos bei Talmudo mokyklos (Rabino namo) pastatas. Nuo Sodų gatvės kompleksas atskirtas mūrine tvora. Į pietryčius nuo sinagogų komplekso ant Šešupės kranto stovi buvusios žydų pirties pastatas. 1941 m. sunaikinus Kalvarijos žydų bendruomenę sinagogų kompleksas kurį laiką buvo tuščias, o pokario metais čia įsikūrė vartotojų kooperatyvas. Talmudo mokyklos pastate veikė kooperatyvo kontora, o sinagogos paverstos prekių sandėliais.

2001-2003 m. vyko eklektinės sinagogos rekonstravimo darbai, kuriuos finansavo Vokietijos fondas ZAIT bei Lietuvos Kultūros vertybių apsaugos departamentas. Buvo sutvirtintos ir naujai pertinkuotos pastato sienos, pakeistas stogas, langai, durys, atstatyti kaminai, atlikti svarbesni vidaus remonto darbai. Buvo atstatyta sinagogų komplekso tvora. Deja rekonstrukcijos darbai nebuvo užbaigti. Nors pagal parengtą projektą buvo numatyta rekonstruoti visus komplekso pastatus, barokinės sinagogos bei Talmudo mokyklos pastato restauracijos darbai nebuvo pradėti.

Dviejų ar daugiau sinagogų kompleksų Lietuvoje yra išlikę tik Joniškyje, Kėdainiuose ir Kalvarijoje.