Tradiciškai teigiama, kad pirmoji sinagoga šioje vietoje galėjo būti pastatyta dar medinė 1573 m. Kelis kartus sugriauta ji buvo pastatyta iš naujo, po to, kai Vilniuje pradėję kurtis žydai 1633 m. m. iš Vladislovo Vazos išsirūpino vieną po kitos kelias privilegijas: pirmąja buvo suformuotas iš kelių gatvių sudarytas Vilniaus žydų kvartalas, antrąja – leista statytis mūrinę sinagogą Žydų gatvėje. Renesansinio stiliaus mūrinė sinagoga buvo pastatyta XVII a. ketvirtajame dešimtmetyje. Vėliau ji dar ne kartą buvo perstatoma, didinama, gražinama, XVIII a. po gaisrų Jono Kristupo Glaubico rekonstruota jau vėlyvojo baroko stiliumi. Antrojo Pasaulinio karto metais ji buvo apgriauta ir nepaisant Holokaustą išgyvenusių žydų pastangų išsaugoti sinagogą, sovietų valdžios iniciatyva nugriauta 1953 m.

Didžioji Sinagoga savo dydžiu labiausiai stebindavo tuos lankytojus, kurie užeidavo į jos vidų. Sinagogos aukštį iš išorės ribojo dar viduramžiais Europoje įsitvirtinę krikščionių draudimai statyti sinagogas aukštesnes ir puošnesnes nei yra katalikų bažnyčios. Tokie pat reikalavimai buvo įrašyti ir Vilniaus Didžiosios sinagogos statybas leidžiančioje privilegijoje. Žydai siekdami paisyti šio draudimo, bet tuo pačiu sukurti išskirtinę savo maldos namų išvaizdą rado išeitį – tiek šios tiek kitų sinagogų grindys neretai buvo įgilintos, taip palyginti neaukštame pastate sukuriant didingumo ir erdvės pojūtį. Sinagoga buvo grožimasi ir dėl jos išskirtinio interjero: itin puošnių bimos ir aron kodešo.

Sinagoga tapo svarbia religinio ir bendruomeninio gyvenimo erdve, apie ją palaipsniui susiformavo tankiai skirtingos paskirties pastatais apstatytas vadinamasis sinagogos kiemas – shulhoyf. XX a. pradžioje jame stovėjo 12 maldos namų, bendruomenės pirčių kompleksas su mikva, viešo naudojimo tualetai (vieni pirmųjų Vilniuje!), vandens šulinys, mėsinės, kuriose prekiauta košerine mėsa, šventų raštų draugijų susirinkimo vietos bei garsioji Matitjahu Strašūno biblioteka. Apie šį kiemą ilgą laiką sukosi visas Vilniaus žydų gyvenimas – tai buvo judriausia ir triukšmingiausia vieta kvartale. Čia buvo sprendžiami asmeniniai ir bendruomeniniai reikalai, keičiamasi ne tik karščiausiais vietos gandais, bet ir iš užsienio grįžusių prekeivių parvežtomis žiniomis. Ši ypatingos auros ir svarbos vieta nuolat traukė diskutuoti besirenkančius rabinus ir mokslininkus, poetus ir romantikus, filosofus ir politikus.