Pavirvyčio dvaro sodyba įkurta XVIII a. pabaigoje. Priklausė didikams Šemetoms. Napoleono žygio 1812 m. į Rusiją metu dvare liko gyventi susirgęs prancūzų leitenantas Pjeras Druvė. Jį slaugė vienturtė dvarininkų duktė Morta. Jaunuoliai pamilo vienas kitą. Vienturtė Žemaitijos dvarininkaitė ir jos mylimasis Pjeras Druvė susituokė ir kartu su prancūzų kariuomene, pakeliui patyrę įvairiausių nuotykių, išvyko į Prancūziją, į Burgundiją. Po dviejų dešimtmečių, paklausę tėvų prašymo, Morta su vyru grįžo į Pavirvytį. Druviai vietinių gyventojų buvo pavadinti Drupėmis.

Pačią dvaro sodybą tryškiškiai pavadino Drupine. Jų palikuonis Antanas Ričardas Druvė (1867–1919 m.), mokydamasis Peterburgo Nikolajaus kavalerijos mokykloje, artimai draugavo su Karlu Gustavu Emiliu Mannerheimu (yra išlikusi jųdviejų bendra nuotrauka), žinomu Suomijos kariuomenės vadu ir Suomijos prezidentu 1944–1946 m.

Pavirvyčio dvaro sodyba iki 1940 m. vasarą prasidėjusios sovietinės nacionalizacijos priklausė dviem Druvių palikuonių šeimoms – Elenai Bliumbergienei ir Michalauskams, turėjo beveik 250 ha žemės ir buvo pavyzdingas ūkis, valdomas reiklaus, vokiškos tvarkos žmogaus – ūkvedžio V. Bendžiaus. Čia išaugintos kiaulės ir karvės pelnė prizinių vietų parodose Šiauliuose. Užtvenkus Juodupio upelį, veikė dvaro vandens malūnas. Sodybą puošė tvenkinys, gyvatvorės, gėlynai. Dvare sukauptą didžiulę meno kolekciją, kurią pavyko išsaugoti Pirmojo pasaulinio karo metais, bei kitą turtą (baldus, gobelenus, kilimus, porceliano indus, gausią biblioteką) 1940 m. Raudonosios armijos kareiviai, įsikūrę dvaro pastate, geležinkeliu išsivežė nežinoma kryptimi.

Karas sujaukė ir Pavirvyčio šeimininkų likimą. Michalauskai buvo ištremti į Sibirą, o jų sūnus V. Michalauskas, tuo metu sirgęs, liko Lietuvoje. Tėvas iš Sibiro taip ir negrįžo.

200 metų amžiaus unikalus, medinis klasikinės architektūros dvaras sovietmečiu buvo niokojamas ir pertvarkomas, bet išlaikė autentišką ir nesugadintą fasado struktūrą.

Pavirvytis – išskirtinis Lietuvos dvaras. Retame jų galima sutikti tikrą paveldėtoją. Valdemaras Michalauskas – vienintelis buvusių dvaro šeimininkų palikuonis, kuriam, atkūrus Lietuvos nepriklausomybę, sugrąžinta Pavirvyčio dvaro sodyba su aplinkine valda. Oficialiai dvaro sodyba priklauso Valdemaro ir Sofijos Michalauskų sūnui Mažvydui, įsikūrusiam Prancūzijoje, kur verčiasi teisininko praktika. Mažvydas Michalauskas yra ir Prancūzijos lietuvių jaunimo bendruomenės pirmininkas.

Pavirvytis – pirmasis Telšių regione nuo pradžios iki galo sutvarkyta medinė dvaro sodyba, prie kurios atgimimo svariai prisidėjo ir valstybė, savininkams kompensavusi dalį restauravimo išlaidų.

Iš dvaro sodybos laikotarpio pastatų išlikęs didelis medinis ponų namas ir medinis svirnas, parko želdynų fragmentai, senieji ąžuolai, tarp kurių yra saugomi Pavirvyčio dvaro ąžuolas ir Pavirvyčio alėjos ąžuolas.