Plungės vardas istoriniuose šaltiniuose minimas nuo XVI amžiaus. 1570 m. Lietuvos didysis kunigaikštis Žygimantas Augustas (1544–1572) Plungės seniūniją užrašė LDK stalininkui Mykolui Aleknavičiui. Vėliau Plungės dvarą valdė Stanislovas Kazimieras Voina, Krišpinai – Kiršenšteinai, Valavičiai, Karpiai. 1775 m. dvaro savininku tampa Vilniaus vyskupas Ignotas Jokūbas Masalskis (1726–1794), vėliau - jo giminaitė Apolonija Masalskytė de Linjė ir jos vyras Vincentas Potockis. 1806 m. kovo mėn. Plungės dvarą nusipirko grafas Platonas Zubovas (1767–1822).

Nuo tada iki 1873 m. dvarą valdė grafai Zubovai. Prie jų pastatomi pirmieji pastatai, iškasami septyni tvenkiniai, įrengiami takai. Iki šių dienų išlikęs Nikolajaus Zubovo (1801–1871) statytas laikrodinės – oranžerijos pastatas. 1873 m. dvarą iš Zubovų nupirko Mykolas Mikalojus Severinas Markus Oginskis (1849–1902). Vedęs turtingos ir žinomos lenkų didikų giminės atstovę Mariją Skurzewską, Plungėje įkūrė grožiu ir kultūrine veikla išgarsėjusią rezidenciją. Ir iškart ėmėsi naujų statybų, rūmams suprojektuoti pasikvietęs vokiečių architektą Karlą Lorentzą. Naujoji rezidencija pastatyta ir pašventinta 1879 m. gegužės mėn. Apie statybos pabaigimą ir rūmų pašventinimą lietuvių, lenkų ir lotynų kalbomis surašytas aktas įdėtas į butelį ir užmūrytas pietinio fasado pamatuose po pagrindiniu įėjimu.

Be gausių ūkio, technikos naujovių diegimo, dvaro šeimininkai vykdė plačią švietėjišką, mecenatinę veiklą: dvare veikė prieglauda našlaičiams vaikams, slapta lietuviškų mokyklų daraktorių mokykla, Oginskiai finansavo lietuviškų knygų leidybą bei pirmąjį lietuvišką spektaklį. Nuo 1873 m. dvare veikė garsioji Oginskių muzikos mokykla, kurioje 1889–1892 m. mokėsi Mikalojus Konstantinas Čiurlionis (1875–1911). Rūmuose buvo turtinga biblioteka, gausūs numizmatikos ir archeologijos radinių rinkiniai, paveikslų ir kitų meno vertybių kolekcijos. M. Oginskiui mirus, dvaru rūpinosi jo žmona Marija Oginskienė.