Rūmai pastatyti XIX a. pab., kai dvaras priklausė Konstantinui Komarui (1813-1880). Tuo metu juose buvo įrengta ir koplyčia. 1913 m. iš varžytinių parduoto dvaro sodybos savininku tapo Bronislovas Brazdžius (1882-1935), Brazdžiai valdė dvarą iki jo nacionalizacijos 1940 m. 1939 m. čia gimė dailininkas skulptorius Antanas Braždys.

1914 m. prasidėjus Pirmajam pasauliniam karui ir Rusijos kariuomenei užėmus kunigų seminarijos patalpas, rugsėjo pabaigoje į Vašuokėnų dvaro rūmus persikėlė ir visą žiemą čia savo veiklą tęsė Žemaičių kunigų seminarija. Čia mokėsi pirmieji trys seminaristų kursai - apie 60 būsimųjų dvasininkų, o vyresnieji kursai į Vašuokėnus rinkosi laikyti egzaminų ir šventimams. Antrajame rūmų aukšte įsikūrė dėstytojai, seminarijos rektorius poetas Jonas Mačiulis-Maironis bei inspektorius Kazimieras Paltarokas, apačioje, priestate ir bokšte gyveno seminaristai.

1914 m. lapkričio 23 d. ir 1915 m. gegužės 16 d. dvaro koplyčioje Žemaičių vyskupas Pranciškus Karevičius suteikė kunigo šventimus būreliui seminarijos auklėtinių. Seminarija Vašuokėnuose veikė iki 1915 m. vasaros atostogų, paskui, artėjant vokiečiams, buvo iškelta į Smolenską. 1945-1948 metais Vašuokėnuose buvo nužudyti 24 naujakuriai. 1958 metais šioms mirtims atminti prieš dvaro rūmus pastatytas betoninis paminklas.

Vašuokėnai priklausė Timotiejui Teterinui (XVI a.), Jonui Dievočkai, o iki 1810 m. - Mstislavlio laukininkui Tadui Mickevičiui. 1818 m. dvarą nupirko Juozapas Komaras.