Elijas ben Zalmanas gimė 1720 m., dabartinėje Baltarusijoje esančiame nedideliame miestelyje, Selcuose. Ir iš tėvo ir iš motinos pusės šeimose buvo garsių ir pripažintų rabinų. Septynis vaikus auginančios šeimos tėvas, Šlioma Zalmanas, nuolat buvo palinkęs ties Talmudo ir talmudinės literatūros studijomis, o šeima išsilaikė iš motinos, Trainės, valdomos nedidelės parduotuvėlės. Vėliau panašiai atrodė ir jo paties, dar vaikystėje neeiliniais gabumais išgarsėjusio, būsimo Vilniaus Gaono šeima. Į Elijo išskirtinius gabumus dėmesys buvo atkreiptas po to, kai jį septynmetį tėvui atsivežus į Vilnių, Didžiojoje sinagogoje jis pasakė visus įžvalgomis apstulbinusį pamokslą. Tuometis Vilniaus rabinas Ješue Heršelis įsitikinęs jo išmanumu Eliją pavadino iluj – gabiu ir talentingu. Jam buvo pasiūlyta vykti tęsti studijų į Kėdainius, pas ten gyvenusį rabiną Dovydą Kacenelenbogeną.

Sulaukęs pilnametystės (13 metų) jis vedė Kėdainių pirklio Jehudos Libo dukrą Chaną ir kurį laiką gyveno ne uošvio namuose, bet atsiskyręs, medinėje trobelėje miesto pakraštyje, į kurią kaip pasakoja legenda, kelią žinojusi tik žmona. Dar labai jaunas, bet jau plačiai žinomas Elijas 1740 m. ryžosi sunkiai kelionei į Palestiną, tačiau jos nebaigęs, po penkerių metų grįžo, tik šį kartą jau įsikūrė Vilniuje, kur jau gyveno jo žmona su vaikais. Nuo šio laikotarpio Vilnius ir Gaonas tapo "neišskiriami". Nors jam buvo siūlomos įvairios pareigos bendruomenėje, nenorėdamas riboti savo galimybių gilintis į šventuosius raštus, Vilniaus Gaonas niekada nėra turėjęs jokių oficialių pareigų žydų bendruomenėje. Priešingai, ši, didžiuodamasi turinti iškilų autoritetą, siekė sudaryti jam ir jo šeimai geresnes sąlygas ir neatitraukti Elijo nuo studijų dėl paprastų mirtingųjų kasdienos rūpesčių – kahalas skyrė jam didelę pašalpą – stipendiją – o dabartinėje Žydų gatvėje, greta Didžiosios sinagogos, pastatė gyvenamąjį namą Gaono šeimai. Tad tam tikra prasme, Vilniaus Gaonas yra bendras rabino Elijo ir Vilniaus žydų bendruomenės "projektas", kai vieni suprato jo intelektualinio tobulinimosi ilgalaikę perspektyvą, o Vilniaus Gaonas atkaliu savo darbu ir originaliais sprendimais tapo vienu didžiausių autoritetų. Klausytis Vilniaus Gaono pamokymų į Vilnių atvykdavo gabūs jaunuoliai ne tik iš Lietuvos Didžiosios Kunigaikštystės, bet ir iš kitų artimesnių ir tolimesnių Europos kraštų.

Kelis metus iš eilės blogėjus Vilniaus Gaono sveikatai, jis mirė 1797 m. ir buvo palaidotas tuomet pagrindinėse Vilniaus žydų kapinėse Šnipiškėse. Bendruomenės pastatytame antkapyje buvo įrašyta: "Jis tyrinėjo ir aiškino Raštą, Mišną, Babilono ir Jeruzalės Talmudą, midrašus, Zohar knygą... Dar jaunystėje jis atsisakė visų žemiškų malonumų ir pašventė savo kūną ir sielą Kūrėjui garbinti..." Šias kapines naikinant XIX a. viduryje jo šeimos mauzoliejus buvo perkeltas į žydų kapines Olandų kalvose, o 1968 m. sunaikinus ir šias kapines, religinė bendruomenė perkėlė Gaono ir jo šeimos palaikus į šiuo metu veikiančias žydų kapines Sudervės kelyje (Sudervės kelias 28, Vilnius). Tai vienas lankomiausių žydiškojo Vilniaus objektų, kuriame savo pagarbą autoritetui atiduoda ir prie jo legendos prisiliečia viso pasaulio žydai.