Tai – vienas didžiausių architektūros paminklų bei seniausių dvarų Lietuvoje, įkurtas, spėjama, dar XVI a. Jį valdė garsios istorinės asmenybės: Chodkevičiai, Valavičiai, Radvilos, Sapiegos, Sobieskiai, Zubovai, Naryškinai... Tačiau šiandiena išlikę pastatai labai menkai beprimena dvaro klestėjimą epochą.

Valdant Zubovams, dvare apie 1810-1817 m. prasidėjo didelio masto mūro statybos. 1858 m. Gruzdžių dvarą už 1 mln.caro rublių išsimokėtinai nupirko Naryškinai. Naujieji šeimininkai dar labiau išplėtojo dvaro sodybą, ypač – ūkinę dalį. Pastatyta naujų pastatų, sutvarkyti ar modernizuoti senieji, dvaro sodyba įgijo mūsų laikus pasiekusį pavidalą. Naryškinai dvarą valdė iki 1915 metų.

Deja, daugelis pastatų šiandien avarinės būklės. Visus raidos šimtmečius Gruzdžių dvaras vykdė labiau ūkinę, nei šeimos gyvenamąją ar reprezentacinę funkciją: savininkai čia lankydavosi retokai, nuolatos gyveno tik administratorius ir kiti dvaro tarnautojai. Tačiau savininkai domėjosi vakarietiškomis ūkininkavimo pasiekimais, juos pritaikydavo dvare.

Išlikę dvaro pastatai išsiskiria neįprastais asimetriškais planais ir tūriais, jų fasadams puošnumo ir dekoratyvumo teikia kelių medžiagų (raudonų ir geltonų plytų, akmens, medžio, tinko) deriniai.

Šiandien dvaro kompleksui priklauso daugiau nei trisdešimt statinių, dalis jų privatizuota, dalis priklauso valstybei, kai kurie pastatai yra kultūros paveldo objektai, kiti – menkaverčiai statiniai. Dauguma pastatų avarinės būklės. Buvusioje dvaro pieninėje bei prievaizdo namelyje šiandien gyvena žmonės.

Dvaro legenda byloja, kad rūmų menėse gyveno dvarininkaitė, kuri turėjo prijaukintą mešką. Panelė būdavusi labai išbalusi, išblyškusi, o savo augintinę vedžiodavosi po rūmų koridorius, parkus ir miestelį. Ši istorija liūdnai pagarsėjo tuo, kad dvarininkaitės augintinė vieną dieną ją užpuolė ir mirtinai sudraskė.