Kristinas Astikas būdamas Vytauto bendražygis gavo šiuose kraštuose dideles žemės valdas, tarp jų ir Vyžuonas. K. Astiko sūnus Radvila Aslikailis buvo Radvilų giminės pradininkas. Vyžuonos Astikų giminei priklausė iki 1555 metų. Radvilų giminės tyrinėtojas istorikas Jonas Yčas teigia, kad Vyžuonos buvo pirmasis ir pagrindinis Radvilų dvaras.

Dabartinis dvaras kūrėsi naujoje vietoje, į pietus nuo miestelio. 1808 m. likviduojant Radvilų turtus dvarą nupirko Vaitiekus Puslovskis, o 1856 m. grafas Čapskis, dalį dvaro valdė Ziberkas-Pleteris. Iš jų apleistą dvarą įsigijo Eduardas Meištavičius, kuris nusausino žemes, pastatė spirito varyklą, plytinę. 1914 m. Jam mirus dvarą paveldi žmona Teresė su dukromis Marija ir Elzbieta. Po 1925 m. žemės reformos dvaras priklausė Moisiejui Bobrovui ir Chaimui Palavinui, vėliau Šliomai Šternui, Jackui Sondeckiui. Sovietmečiu nacionalizuotas.