Paberžės dvaro savininkas grafas Šilingas 1787 m. pastatydino medinę bažnyčią, kuri greitai sudegė. 1858 m. buvo pastatyta (stovinti ir dabar) medinė Švč. Mergelės Marijos apsilankymo bažnyčia. 1966 m. į Paberžę buvo paskirtas vienuolis kapucinas, kunigas Algirdas Mykolas Dobrovolskis – Tėvas Stanislovas. Kunigas suremontavo ir išpuošė bažnyčią, sutvarkė kaimo kapinaites. Šventoriuje ir kapinėse jis pastatė originalių paminklų, klebonijoje ir šalia esančioje klėtelėje įkūrė unikalų bažnytinio ir liaudies meno muziejų.