Pirmosios žinios apie Alvito dvarą mus pasiekia iš XVII a. Dvaro siluetas pažymėtas ir 1808 metų Naujosios Prūsijos žemėlapyje. Šį dvarą XIX a. I pusėje įsigijo grafai Gavronskiai; iš jų vienu pirmuoju minimas Vincentas Gavronskis, o po jo sūnus Viktoras Gavronskis. 1834 m. dokumente paminimas namo rūmas: medinis, apkaltas senomis prastomis lentomis, su dviem mūriniais kaminais, aukštai kyšančiais virš stogo. Dokumentuose užfiksuota, kad dalį dvaro 1837 m. valdė ir Mateušas Bučkovskis. Alvito dvaro ūkį XX a. pradžioje tvarkė ūkvedys Stanislavas Žilinskas, kuris į ūkį turtinių teisių turėjo ir tarpukariu. Dvaro pastatai stovėjo prie pat ežero. 1901 m. dvare gyveno 103 moterys ir 101 vyras (iš jų - 2 žydai, 2 užsieniečiai). Viso žemės - 934, o dirbamos - 583 margai. Stovėjo 6 mediniai, 3 mūriniai pastatai. Kitur teigiama, kad 1901 metais gyveno 280 žmonių. 1903 m. 3571 margus turėjusiame Stanislovo Gavronskio dvare buvo laikoma 180 arklių, 136 stambių ir 48 smulkių gyvulių. 1914m., karo metu, gyvenamieji ir ūkiniai pastatai sudegė. Nuo gaisro nenukentėjo ryčiausiai stovėjęs raudonų plytų pastatas "Raudonė", kuriame gyveno samdiniai. 1915 m. vokiečiai išardė spirito varyklos įrangą ir į Vokietiją išsigabeno vamzdelius ir kitokias iš vario pagamintas detales.

Po karo dvaras buvo atstatytas. Vienerių aukštų simetriniai mūriniai rūmai su iki pustrečio aukšto pakelta centrine dalimi buvo sąlyginai saikingų formų statinys; yra išlikusi ir viena jo nuotrauka (fotografuota nuo sodo pusės). Prie dvaro veikė kumetynai, spirito varykla, malūnas, fabrikėlis. Tarpukario pradžioje, prieš išvažiuodama į Lenkiją, grafienė Gavronskienė pardavė Alvito dvarą Tadui Voičinskiui, nors į dvarą pretendavo (ar jo dalį valdė) ir Stanislovas Zielinskis. Iki Žemės reformos dvaras, aprėpęs 537 ha, ir daug aplinkinių ūkių (Vanaginės palivarkas, Čižiūnų, Versnupių, Rumokų, Vasiliškių ir gal net Šuklių (?) dvarai) buvo Tado Skarbeko-Voičinskio (1867 - apie 1925 ?) nuosavybė.