1825 m. Ukmergės miesto surašymo duomenimis, ši sinagoga buvo vienintelė mieste. 1877 m. ji sudegė per didžiulį gaisrą, kuomet nuo sugedusio kepyklos dūmtraukio suliepsnojo visas miestas. Netrukus sinagoga buvo atstatyta nekeičiant išorės vaizdo. 19 a. pabaigoje šalia Didžiosios sinagogos ėmė formuotis visas žydų kulto ir studijų pastatų kompleksas: kitos sinagogos, ješiva, "Talmud-Toros" mokykla. Didžioji žydų sinagoga veikė iki 1941 m.