Kalnaberžė pirmą kartą paminėta 1371 metais H. Vartbergės Livonijos kronikoje. Kalnaberžės dvarą valdė Radvilos, Čapskiai, Košelevskiai, Stolypinai. Pastarieji XIX amžiaus antroje pusėje rekonstravo dvaro rūmus, kurie iki šiol išlikę. Rūmai neogotikinio stiliaus. Fasado akcentas – rizalitas, per visą aukštį atsikišusi dalis, papuošta laiptais ir dviejų kolonų portikais. Dvarą supa mišraus tipo parkas, kuris įkurtas XIX amžiaus viduryje. Stolypinų šeimai ištaigingas dvaras priklausė iki Pirmojo pasaulinio karo pradžios. Piotras Stolypinas Kaune ir Kalnaberžėje praleido svarbiausius ir gražiausius savo metus, penki iš šešių jo vaikų gimė būtent čia - Kalnaberžė yra mažoji P. Stolypino vaikų tėvynė. Piotras Stolypinas buvo Kauno gubernijos teismo pirmininku, Kauno gubernijos bajorų maršalka, 1902 m. - Gardino, 1903 m. - Saratovo prie Volgos gubernatorius. 1906 m. - Rusijos viduas reikalų ministras, 1906-1911 m. - Rusijos ministras pirmininkas. 1910 m. Kalnaberžės dvaro rūmuose buvo įvestas telefonas ir telegrafas, čia lankėsi ministrai ir kiti vyriausybės tarnautojai, netoliese įsikūrė šimtai apsaugos kariškių. Pasak istorikės A. Pečiulytės, "P. Stolypinas buvo Kauno bajorų vadas, aktyviai dalyvavo Viešpaties Atsimainymo cerkvės veikloje. Kalnaberžėje jam priklausė daugiau nei 800 ha ūkis, kurį stengėsi padaryti pavyzdiniu. Skyrė pinigų, kad Kalnaberžėje būtų įkurta amatų mokykla, rūpinosi, kad būtų nupirktas Kreico dvaras Dotnuvoje, kur vėliau buvo įkurta žemės ūkio mokykla, dar vėliau pavadinta Stolypino vardu. Jis buvo labai progresyviai mąstantis politikas, norėjęs švietimo, teismų, žemės ūkio reformomis sumoderninti Rusiją, kad ji žengtų kapitalizmo keliu. Į jį kėsintasi 11 kartų, o per paskutinįjį pasikėsinimą politikas nušautas". Iš Kalnaberžės 1911 m. P. Stolypinas išvyko ir į savo paskutinę kelionę į Kijevą, kur buvo nušautas".

Kalnaberžės dvaro parkas įkurtas XIX a. 15 ha teritorijoje. Pietinė dalis - peizažinė. Vyrauja liepos, auga ąžuolai, uosiai, klevai, beržai ir liepos, paprastieji kaštonai, pilkosios tuopos. Greta rūmų - jaunų glaustašakių vakarinių tujų eilė. 1924 m. Kalnaberžės dvaro centrą su 9 pastatais ir 70 ha žemės nusipirko Kazys Binkis, tačiau neįstengė išmokėti skolų ir perleido dvarą Teisingumo ministerijai. 1940 metais dvaras buvo nacionalizuotas, o karo metu sunaikintas, daiktai - išgrobstyti. Po karo čia buvo atkurta nepilnamečių kolonija, 1949 m. - vaikų namai, o nuo 1959 m. - internatinė mokykla. Vėliau čia įsikūrė "Žiburio" kolūkio administracija. Šiuo metu Kalnaberžės buvęs dvaras apleistas, parkas laukėja. Šiuo metu dvarą įsigijęs Viktor Uspaskich.