Kelmės dvaro teritorija pradėjo formuotis XV a. Tada Kelmė buvo Lietuvos didžiojo kunigaikščio dvaras. XV a. pabaigoje Lietuvos didysis kunigaikštis Aleksandras Kelmės dvarą padovanojo Jonui Kontautui. 1591 m. dvaras atiteko Gruževskiams. Iš 1591 metų turto pirkimo – pardavimo akto aišku, kad sodyba buvo toje pačioje vietoje, kur ir dabar. Gruževskių šeimai šimtmečius priklausę rūmai pastatyti apie 1780 m. Nepakito išplanavimo struktūra, pagrindinių pastatų ir kelių išdėstymas, parko ir sodo vieta. 1892 m. architektas F.Lemanas (Lehmann) atliko Kelmės dvaro rūmų perstatymo projektą, o 1898 m. buvo parengtas parko įrengimo projektas. Tai buvo paskutiniai stambiausi rekonstrukcijos darbai, kurie galutinai suformavo dvaro periodo ansamblio visumą.

Buvusi Kelmės dvaro sodyba – vertingas Lietuvos architektūros ir istorijos paminklas. Tai retas Lietuvoje barokinio stiliaus provincijos dvaras. Kelmės dvaro sodyba atspindi raiškiausius dvarų architektūros, statybos, parkų, dailės bei ūkininkavimo raidos bruožus. Tai didelė brandžios kompozicijos sodyba, kurioje gausu autentiškų pastatų, želdinių ir vandens telkinių.

Kelmės dvaro sodyboje, prie kelio į miestą, yra įdomus dviaukštis pastatas – 1668 m. pastatyti, o XVIII a. rekonstruoti vartai. Pirmojo aukšto patalpose buvo laiptai ir baudžiauninkų kalėjimas, antrajame aukšte – biblioteka su siaura atvira arkada orkestrui. Čia 18 a. buvusi biblioteka garsėjo savo turtingumu, joje buvo apie 5000 tomų knygų. Bibliotekoje taip pat saugota daug vertingų rankraščių, retų spaudinių įvairiomis kalbomis. Dvare buvo daug unikalių numizmatikos kolekcijų. Vertingiausia iš jų – monetų kolekcija su romėnų monetomis. Kelmės dvaro vartų bibliotekoje buvo laikomas didelis dokumentų archyvas. Jį sudarė Kelmės davro savininkų Gruževskių šeimos archyvinė medžiaga, liečianti plačią Žemaitijos dalį. Kelmės dvaro archyvas 1941 m. pateko į Šiaulių "Aušros" muziejų, o 1952 m. muziejus juos perdavė Lietuvos mokslų akademijos bibliotekai. Joje yra saugoma apie 20 tūkst. vienetų Kelmės dvaro archyvo teksto lapų. Mažesnė dalis šio archyvo saugoma Lietuvos nacionalinėje Martyno Mažvydo biblitekoje bei Kauno valstybiniame archyve.

Istorinis Kelmės dvaro vaidmuo buvo 1831 metų sukilime - tuometinis dvaro savininkas Julius Gruževskis įėjo į Raseinių apskrities sukilėlių komiteto sudėtį. Komitetas nutarė sukilimą pradėti rekrūtų pristatymo į Raseinius dieną – kovo mėnesio 26-ąją ir parašė sukilimo aktą. Sukilimas prasidėjo Kelmės dvare ir anksčiau negu buvo numatyta. Viską lėmė aplinkybės: kovo 23-iąją Kelmėje beliejančius kulkas sukilėlius užklupo caro valdininkas rotmistras Poplonskis. Tada komitetas nutarė sukilimą pradėti nedelsiant. Sukilėlių būrys, vadovaujamas matininko K.Jautoko, 1831 m. kovo 25 d. rytą užėmė Kelmę, išvaikė carinę administraciją, paleido rekrūtus ir sukvietęs miestelėnus paskelbė, kad prasidėjo sukilimas. Kovo mėnesio 26 d. ryte jungtinės sukilėlių pajėgos staiga užpuolė Raseinius. Puolime nuo Kelmės ir Nemakščių pusės dalyvavo Juliaus Gruževskio vadovaujami sukilėliai. Julius Gruževskis savo lėšomis sudarė Pirmąjį ulonų pulką, kurio sudėtyje buvo 400 dalgininkų bei 50 raitelių. Vėliau Julius Gruževskis įėjo į Raseinių sukilėlių laikinąją apskrities vyriausybę. Po sukilimo numalšinimo dvarininkas emigravo į Prancūziją, vėliau apsigyveno Šveicarijoje, Ženevoje.

1940 m. paskutinės dvaro savininkės Gabrielė Gruževskienė su dukromis Sofija ir Adolfina buvo išvarytos iš dvaro, vėliau ištremtos į Sibirą. Vokiečių okupacijos metais Kelmės dvare gyveno baronas fon Haren, pokario metais čia buvo įsikūrusi mokykla, vėliau Paukštininkystės tarybinio ūkio centras, kuris išlaikė ir dvaro pastate buvusį nedidelį visuomeninį muziejų, 1990 m. davusį pradžią dabartiniam Kelmės krašto muziejui.