Kelmės dvaro teritorija pradėjo formuotis XV a. Tada Kelmė buvo Lietuvos didžiojo kunigaikščio dvaras. XV a. pabaigoje Lietuvos didysis kunigaikštis Aleksandras Kelmės dvarą padovanojo Jonui Kontautui. 1591 m. dvaras atiteko Gruževskiams. Iš 1591 metų turto pirkimo – pardavimo akto aišku, kad sodyba buvo toje pačioje vietoje, kur ir dabar. Gruževskių šeimai šimtmečius priklausę rūmai pastatyti apie 1780 m. Nepakito išplanavimo struktūra, pagrindinių pastatų ir kelių išdėstymas, parko ir sodo vieta. 1892 m. architektas F.Lemanas (Lehmann) atliko Kelmės dvaro rūmų perstatymo projektą, o 1898 m. buvo parengtas parko įrengimo projektas. Tai buvo paskutiniai stambiausi rekonstrukcijos darbai, kurie galutinai suformavo dvaro periodo ansamblio visumą.
Buvusi Kelmės dvaro sodyba – vertingas Lietuvos architektūros ir istorijos paminklas. Tai retas Lietuvoje barokinio stiliaus provincijos dvaras. Kelmės dvaro sodyba atspindi raiškiausius dvarų architektūros, statybos, parkų, dailės bei ūkininkavimo raidos bruožus. Tai didelė brandžios kompozicijos sodyba, kurioje gausu autentiškų pastatų, želdinių ir vandens telkinių.
Istorinis Kelmės dvaro vaidmuo buvo 1831 metų sukilime - tuometinis dvaro savininkas Julius Gruževskis įėjo į Raseinių apskrities sukilėlių komiteto sudėtį. Kovo mėnesio 26 d. ryte jungtinės sukilėlių pajėgos staiga užpuolė Raseinius. Po sukilimo numalšinimo dvarininkas emigravo į Prancūziją, vėliau apsigyveno Šveicarijoje, Ženevoje.
1940 m. paskutinės dvaro savininkės Gabrielė Gruževskienė su dukromis Sofija ir Adolfina buvo išvarytos iš dvaro, vėliau ištremtos į Sibirą. Vokiečių okupacijos metais Kelmės dvare gyveno baronas fon Haren, pokario metais čia buvo įsikūrusi mokykla, vėliau Paukštininkystės tarybinio ūkio centras, kuris išlaikė ir dvaro pastate buvusį nedidelį visuomeninį muziejų, 1990 m. davusį pradžią dabartiniam Kelmės krašto muziejui.