Pašušvio dvaras garsus tuo, kad jame XIX a. 2 ir 3 ketvirčiuose gyveno Lenkijos maršalo Juozo (Juzefo) Pilsudskio seneliai Teodora ir Petras. Atrodo, kad būsimasis valstybės vadovas čia niekad nesilankė (lenkai būtų tokį atvejį tikrai paminėję). Beje, pavardę jie gavo nuo Pilsūdų vietovės, minimos dar gerokai iki šios giminės pasirodymo apylinkėse. Dvare vaikystę leido ir dailininkas Aleksandras Pilsudskis (1823 - 1864), nutapęs daug šeimos narių portretų, gimtuosius ir apylinkių pastatus. Iš čia kilo ir daug garsių Butlerių giminės žmonių. Kaip dvaras atrodė prieš pusantro šimto metų galime įsivaizduoti iš šio aprašymo: "Pašušvio dvaro namas buvo senas, bet nemažas su gonkomis ant keturių piliorių, rūsyje visuomet buvo medaus ir degtinės (starkos). Kambarių sienas puošė paveikslai, šeimos portretai, neblogų tapytojų darbo aliejumi, jų tarpe: Kazimiero Pilsudskio, Onos Bilevičiūtės-Pilsudskienės, Bilevičių giminaitės kunigaikštienės Puzinienės, Bilevičienės iš Žabų, kunigo Melchioro Bilevičiaus, Petro Pilsudskio, Teodoros Butlerytės-Pilsudskienės, Petro draugo Kundroto. Pašušvio dvaro parke stovėjo koplytėlė, kur kartais buvo laikomos pamaldos; liepų alėja vedė į bravorėlį. Netoli sruveno Šušvės upelis, prie kurio sukosi du malūnėliai.

Apie 1877 m. senasis dvaro namas Pašušvyje sudegė, o kartu su juo ir istorinis knygų rinkinys, portretai, baldai, fortepijonas, smulkūs šeimos apyvokos ir atsiminimų daiktai. Sudegė taip pat aliejumi pieštasis Dievo Motinos Paguodėjos paveikslas iš parko koplyčios. Senojo namo tepasiliko rūsiai". Vienas iš dvaro savininkų - Antanas Zaborskis (Antoni Zaborski) (1850-1907) buvo senienų kolekcininkas ir archeologas mėgėjas, kasinėjęs Pašušvio kapinyną. Pašušvio dvare buvusį nemažą archeologinių radinių ir kitų vertybių rinkinį perdavė Vilniaus mokslo bičiulių draugijai.