Anot vienos iš versijų Kupiškyje žydų bendruomenė pradėjo kurtis apie XVII a. Tai patvirtintų ir leidimas statyti sinagogą, kuris išduotas 1682 m. Mikalojaus Paco. 1897 m. Kupiškyje gyveno 2661 žydas arba 71 procentas visų (3742) miestelio gyventojų. Tais pačiais metais Kupiškyje veikė trys sinagogos: Didieji maldos namai (Kupiškio viešosios bibliotekos pastatas) ir Misnagdų bei Chasidų religinių bendruomenių sinagogos. Trys greta stovėjusios sinagogos sudarė pusiau uždarą siaurą kiemą. Šiaurinėje pusėje buvo pastatyta Didieji maldos namai, lygiagrečiai jai – Misnagdų sinagoga, o tarp jų, vakarų pusėje, – Chasidų sinagoga. Šiuo metu išlikusios dvi: Didžioji ir Chasidų sinagogos.

Didžioji sinagoga šalia L. Stuokos-Gucevičiaus aikštės statyta baroko epochoje kaip vasarinė, skirta iškilmingoms progoms. Vyrai ir moterys melsdavosi atskirai. Kupiškio Didieji maldos namai buvo dviejų aukštų ir, kiek žinoma iš pasakojimų, labai puošnūs. Šviesiai mėlynai dažyti sinagogos skliautai, išpiešti debesimis ir žvaigždėmis. Spinta, kurioje saugotas Toros ritinys, buvo medinė, dekoruota medžio raižiniais. Per 1876 m. Kupiškio gaisrą ji sudegė. Gaisro metu nukentėjo ir pati sinagoga.

Kai penktadienio pavakare prasidėdavo šabas, tą žinią pranešdavo užkaukusios "šviesos ministeriu" ir "milijonieriumi" vadinto Nochemo Šmidto malūno sirenos. Penktadienio vakare žydai išsimaudydavo, kadangi nešvariems šeštadienį eiti į maldos namus buvo nevalia. Prieš eidami į sinagogą vyrai apsivilkdavo kostiumais, pasirišdavo kaklaraiščius, o moterys apsirengdavo išeigines sukneles. Melstis eidavo šeimomis. Tą dieną nedirbdavo nė viena žydų parduotuvė — ir kiti prekybininkai ne žydai galėjo padidinti kainas.

Nepaisant visų negandų žydų sinagoga veikė iki pat tragiškų vokiečių okupacijos metų.

Po antrojo pasaulinio karo 1948 m. buvo pradėtas kapitalinis sinagogos remontas. 1950 m. kartu su kraštotyros muziejumi, kultūros namais ir kitomis įstaigomis šiame pastate įsikūrė biblioteka. Buvusioje žydų maldos salėje vyko koncertai, susitikimai su įžymiais žmonėmis. 1984 m. visas sinagogos pastatas atiteko bibliotekai.

2004 metais buvusioje sinagogoje atidengta atminimo lenta, kurioje surašyti visų žuvusių Kupiškio žydų vardai ir pavardės. Žuvusių žydų pavardžių "perkėlimu" į metalo plokštę rūpinosi broliai Normanas ir Alekas Mejeriai – žuvusių Naftalio ir Malkės Mejerovičių anūkai, bei kiti Kupiškio žydų palikuonys.