Pirmasis žinomas Arvydų dvaro šeimininkas – Vilniaus pilininkas ir Žygimanto Senojo karališkųjų statybų prižiūrėtojas – Ulrichas Hozijus (1524-1535). Vadovavęs pirmojo Vilniaus vandentiekio, karališkųjų malūnų bei mūsų dienų nesulaukusio pirmojo mūrinio tilto per Nerį statyboms Ulrichas dovanojimo raštu iš kunigaikščio gavo dvaro sodybą su ją supančiomis apylinkimis. Po daugiau nei pusšimtį metų trukusio Hozijų šeimininkavimo dvare, jis buvo padovanotas Vilniaus Jezuitų akademijai, kovojusiai su sparčiai šalyje plintančiomis Reformacijos idėjomis. Jezuitai Arvydų dvarą valdė iki pat ordino panaikinimo 1773 m. Karaliaus Stanislovo Poniatovskio privilegija perleido dvarą LDK raštininkui, Bresto vaivadai Mikalojui Lopačinskiui (1715-1778), kurio giminė Arvydų ūkį ir žemes valdė iki pat 1880 m.

Dabartinę išvaizdą pagrindinis dvaro pastatas įgavo patekęs į Vilniaus II-osios gildijos pirklio Samuelio Goldšteino rankas. Suklestėjo odos perdirbimo, klijų gamyklos, veikė vandens malūnas, dvaro teritorijoje ir jos pastatuose 1902 m. buvo įrengtas elektrinis apšvietimas. Ekonominiam Arvydų dvaro vystymuisi pasitanavo Varšuva-Peterburgas geležinkelis bei netoliese įrengta traukinių stotis, leidusi lengvai transportuoti dvare pagamintą produkciją. Po Samuelio Goldšteino mirties dvaras, praradęs rūpestingą šeimininką keliavo iš rankų į rankas, netgi tapo žymiojo traukinio apilpėšimo liudininku.

Šalį užklupus sovietinei tvarkai niekada neremontuojamas pastatas tapęs netinkamu naudoti septintojo dešimtmečio viduryje, buvo apleistas ir paliktas likimo valiai. Kol galiausiai XXI a. suradęs naujus šeimininkus Arvydų dvaras atvertė naują didingo gyvenimo istorijos puslapį.