Pirmą kartą dvaras paminėtas 1593 m., kai tuometinis savininkas užrašė jį Pašušvės evangelikų bažnyčiai. Atslūgus reformacijos bangai, dvaras vėl perėjo į privačias rankas. XIX a. pradžioje Kauno pavieto Ilgižių dvarui priklausė dideli žemės plotai, keli palivarkai ir Ilgižių kaimas. Už tai, kad dvaro savininkas Mykolas Vitkauskas dalyvavo 1831 m. sukilime, didelė dvaro žemių dalis buvo konfiskuota. Mūriniai dviaukščiai dvaro rūmai pastatyti 1870 m. Ilgižių dvaro suklestėjimo laikotarpis - XIX a. II pusė, kai jį valdė Vladislovas Chlevinskis (1826-1907).

V. Chlevinskis gimė Jono Chlevinskio, paskutiniojo Raseinių pakamarės teismo teisėjo, ir Pranciškos iš Puzinų Chlvickienės šeimoje. 1863 m. sukilimo metu jis buvo Kauno pavieto apygardos vadas, už ką caro valdžios 1864-09-29 buvo nuteistas mirties bausme, kuri vėliau pakeista 10 metų tremtimi į Sibirą. Grįžęs iš tremties vedė Vandą Pilsudskytę ir apsigyveno Ilgižių dvare. V. Chlevinskiui mirus, dvarą paveldėjo vaikai ir žmona. Vienam iš vaikų, Mykolui, bandant išmokėti dalis kitiems paveldėtojams, jis nepajėgė išlaikyti dvaro ir dvaras buvo parduotas iš varžytinių po parceliacijos 1931 m. Vykdant parceliaciją dvaras pervadintas į Žibulių, norint jį atskirti nuo gretimo Ilgižių kaimo ir išparceliuotose dvaro žemėse įkurtos Ilgižių pieninės. Po varžytinių dvarą nupirko kultūrtechnikas K. Paliūnas. 1940 m. dvaras nacionalizuotas.

Sovietmečiu rūmuose buvo įrengti senelių namai, vėliau veikė kultūros namai. Nugriauti abipus dviaukščio rūmų pastato buvę mediniai flygeliai, vietoje vieno jų pastatytas dviaukštis menkavertės architektūros priestatas. Atgavus Nepriklausomybę dvaras grąžintas buvusiems savininkams.