Pilaitės dvaro sodybos išplanavimas susiformavo XVII amžiaus pabaigoj, sunykus ant kalvos XVI a. pradžioje LDK didikų Astikų pastatytai piliai. Dvaras po Astikų priklausė didikams Glebavičiams, Gorskiams. XVII a. viduryje jis atiteko jėzuitams. Po Jėzuitų ordino panaikinimo Pilaitė atiteko 1775 m. Seimo įsteigtai Edukacinei komisijai. XVIII a. pab. - XIX a. pr. dvaras buvo atiduotas valdyti bajorui T. Kukevičiui. Jo valdymo metu, nekeičiant planinės struktūros buvo perstatyti ir pastatyti nauji gyvenamieji ir ūkiniai pastatai, išvystyta rekreacinė dvaro dalis, įrengtas parkas, išplėsti sodai. 1827 m. Pilaitės dvarą nupirko Vilniaus universitetas. Čia vadovaujant profesoriui M. Očiapovskiui, tais pačiais metais pradėtas steigti pirmasis Lietuvoje Agronomijos institutas. Pilaitės mokomajam ūkiui paskirtas vadovauti profesorius M. Fričinskis. Pilaitės dvaro sodyboje mėgdavo ilsėtis Vilniaus universiteto profesūra. Čia kurį laiką gyveno ir rašytoja O. Radvilaitė – Mostovska (apie 1762-1833), parašiusi apysaką "Pilaitės vaiduoklis". 1929 m. prie Pilaitės Agronomijos instituto Vilniaus universiteto vadovybė leido perkelti parapinių mokyklų mokytojų ir vargonininkų seminariją, nuo 1819 m. veikusią prie universiteto. Mokslinių tyrimų ūkio ir seminarijos nespėta sukurti. 1832 m. Nikolajaus I reskriptu Vilniaus universitetas buvo uždarytas, o Pilaitės dvaras 1833 m., perduotas Liaudies Švietimo ministerijos žinion. Pilaitės dvarą su visais pastatais nuo 1833 m. iki 1860 m. išsinuomojo ir činčo teisėmis valdė tas pats agronomas Mykolas Fričinskis (1792-1859). Mirus M. Fričinskiui, dvaras testamentu atiteko sūnėnui K.Fričinskiui. Jo valdymo metu Pilaitė gerokai nuskurdo. Jau XIX a. devinto dešimtmečio pradžioje jis priklausė Polozovams. 1881 m. našlė E. Polozova Pilaitės dvarą pardavė bendron nuosavybėn broliams baronams Dovydui ir Augustui Gvidonui Hugo Bolto fon Hogenbachams. Mirus 1891 m. Dovydui Hogenbachui, jo valdyto dvaro dalis atiteko broliui Augustui Gvidonui. Dabar išlikusių neoklasicistinių Pilaitės dvaro rūmų statytojai buvo Hogenbachai, kurie dvarą valdė 1881 -1913 metais. Pirklys Arsenijus Pimenovas su žmona Stefanija Pilaitės dvarą iš pastarojo įsigijo 1913 m. Pimenovų šeima 1921 m. dvaro žemes ir pastatus pasidalino. Petrui Pimenovui priklausė 107 ha žemės, vandens malūnas su tvenkiniu ir dar 3 trobesiais. 1940 m. dvaro pastatai ir jo žemės nusavintos sovietų valdžios. Ilgą laiką dvare buvo Buivydiškių tarybinio ūkio-technikumo pagalbinis ūkis. Po 1990 m. dvaro sodybos pastatai privatizuoti.