Rietavo kunigaikščių Oginskių šeimos dvaras suklestėjo XIX a. viduryje, puoselėjamas Irenėjaus ir Bogdano Oginskių. Tuo laiku Rietavas Lietuvoje buvo svarbus kultūros centras. Būtent čia 1892 m. prasidėjo elektrifikacijos istorija Lietuvoje. Rietave buvo įvestas ir pirmasis telefonas, iš čia jo linijos nutiestos į pajūryje buvusias grafų Tiškevičių valdas. Rietave Oginskių laikais vyko pirmosios Lietuvoje žemės ūkio parodos, daug žmonių susirinkdavo į simfoninės muzikos ir pučiamųjų instrumentų koncertus. Iki XIX a. pabaigos, kol nebuvo sukurti Palangos ir Žagarės parkai, Rietavo parkas buvo didžiausias peizažinis parkas Lietuvoje. Jis suformuotas 1848–1855 m. natūraliame išretintame miške. Parkas rekonstruotas 1904–1905 m. Oginskių laikais 2 metrų aukščio tvora juosė visą 60 ha dydžio parko teritoriją. Jo kompoziciją, augalus rinkosi pats Irenėjus Oginskis, kuris jaunystėje, gyvendamas tėvo Mykolo Oginskio pamėgtame Zaliesės dvare su puikiu parku, apkeliavęs daug Europos parkų, neblogai buvo susipažinęs su dvarų parkų kūrimo principais, turėjo gerą skonį. Formuojant parką Rietave dirbo architektai Kristupas Ferdinandas Gypeldas, saksonietis Fridrichas Brounas, vengras Augustas Ulrichas.

Parkas mišraus suplanavimo. Centrinėje dalyje ryškūs geometrinio parko bruožai, pakraščiai, kur išplėtota vandenų sistema, daugiau primena peizažinius parkus. Dvaro rūmus ir miesto centre esančią bažnyčią jung ė iki šiol išlikusi liepomis apsodinta alėja. Kitos parko alėjos buvo suformuotos iš eglių, liepų, uosių. Didžiąją parko augalų dalį sudarė vietiniai medžiai ir krūmai, tačiau čia augo ir nemažai svetimžemių. Iš jų mūsų dienų sulaukė daug europinių maumedžių, didžialapių liepų, paprastųjų kaštanų, svyruoklinių uosių, šermukšnialapių lanksvūnių, gluosnialapių lanksvų. Parko teritorijoje gerai prigijo ir vėliau čia Rietavo miškininkų pasodintos balkaninės ir sibirinės pušys, pilkieji riešutmedžiai, raudonieji ąžuolai, nemažai įvairių krūmų rūšių. Iš anų laikų išliko keletas medžių alėjų, tvoros fragmentai, Baltieji ir Raudonieji vartai, sargo namelis prie jų. Prie Baltųjų vartų – kunigaikščių Oginskių kapinaitės ir pagal architektės Živilės Mačionienės projektą restauruota koplyčia-mauzoliejus. Rietavo dvaro rūmų vieta paženklinta balta kolonada. Netoli nuo jos – keletas Oginskių laikus menančių pastatų, kuriuose dabar veikia švietimo, medicinos, kultūros įstaigos. Atstatytoje buvusioje dvaro muzikos mokykloje prieš keletą metų įsikūrė Rietavo kunigaikščių Oginskių kultūros istorijos muziejus, kuriam pavesta rūpintis ir tolesniu parko tvarkymu bei priežiūra.

Parke sudėtinga vandens telkinių sistema. Yra keletas tvenkinių, Jūros upės kilpa, senvagių apjuosta sala. Nuo seno Rietavo tvenkiniuose veisdavosi gulbės. Dvare augindavo fazanus. Oginskių laikais rūmuose, salose, kitose vaizdingose parko vietose koncertuodavo dvaro orkestro muzikantai. Lygus parko reljefas keliose vietose, kaip ir minėtoje saloje, paįvairintas dirbtinai supiltais kalneliais. Parko erdvinė struktūra, sovietmečiu č ia pastač ius keletą parko teritorijai architekt ūriniu požiūriu nepritaikytų pastatų, buvo stipriai sugadinta. Ilgą laiką parkas, ypač į miško parką pereinanti jo dalis, beveik nebuvo tvarkoma. Planų, brėžinių neišliko, todėl pastaraisiais metais, atnaujinant šias parko teritorijas, dabartiniai šeimininkai kartu su parkų specialistais dažnai priversti ieškoti naujų sprendimų. Darbai atliekami pagal 1981 m. Paminklų konservavimo instituto parengtą projektą. Oginskių laikais Rietavo dvaro žiemos sodas garsėjo augalų įvairove. Buvo auginamos palmės, kamelijos, fikusai, araukarijos, orchidėjos, paparčiai, daug kitų egzotinių augalų. Gaivinant parką daug nusipelnė iš Rietavo kilęs restauratorius A. Jocys, dabartinis muziejaus direktorius V. Rutkauskas.

Architektūrinę, istorinę, urbanistinę, kraštovaizdinę vertę turintis dvaro sodybos kompleksas į Lietuvos nekilnojamų kultūros vertybių registrą įrašytas 2003 m. kovo 5 d. Jam priklauso: parkas, oficina, tvoros fragmentai, Baltieji ir Raudonieji vartai (visi XIX a. vid.), arklidė (XIX a. II p.), muzikos mokykla (XIX a. 8 deš.), muzikantų bendrabutis (XIX a. 9 dešimtmetyje), alaus darykla–skalbykla (XIX a. vid., XIX a. antroje pusėje.), koplyčia–mauzoliejus {XIX a. II p., spėjamas architektas – Leonas Bukno (Leon Boucneau)}, sargo namas (XIX a. pab.), du namai, iš kurių vienas vadinamas kryžiauna (XIX a. II p.), XIX a. pradžioje (?) įkurtos kapinės.