Manoma, jog XVIII a. pradžioje Krekenavoje įsikūrė 16 žydų šeimų, o jau XIX a. pabaigoje iš 2 187 gyventojų - net 1 505 buvo žydai. Augant bendruomenei iškilo poreikis turėti maldos namus, tad laikui bėgant buvo pastatytos dvi mūrinės sinagogos. Manoma, kad išlikusi romantizmo stiliaus sinagoga buvo pastatyta XIX a. 1-ojoje pusėje.

Sovietmečiu pastatas buvo paverstas svirnu, o po Lietuvos nepriklausomybės atkūrimo pastate įrengta sporto salė, kuri funkcionuoja iki šiol. Ant pastato kabo memorialinė lenta, kurioje paminėta ir pirminė pastato paskirtis. Greta esanti Didžioji sinagoga pastatyta 1880-1883 m., o 1927 m. pagal Panevėžio architekto Keraičio planus rekonstruota. Po II pasaulinio karo pastate įrengti gyvenamieji butai. XXI a. pastatas rekonstruotas.