Kleboniškių kaimas išsidėstęs vaizdingame Daugyvenės upės slėnyje. Upės plačios lankos, krūmų kupstai pakrantėse, seni kaimavietės medžiai ir kitoje upės pusėje plytintis pušynas formuoja labai savitą ir gyvą kraštovaizdį, kurį pagyvina grakštus vėjo malūnas. Gražus, labai romantiškas vaizdas atsiveria nuo gluosniais apaugusio senojo tilto – priešais raibuliuoja plati sietuva, kaimo pusėn ramiai teka upės vandenys. Vienoje upės pusėje – sodo apsupta malūnininko sodyba ir už jos sparnus išskleidęs malūnas, kitoje pusėje – sutūpusios kaimo ūkininkų sodybos. Prie kaimo gatvės, sodų pakraščiuose ir ežiose suaugę kuplūs sodybų medžiai supa pastatus, sudarydami natūralią senojo kaimo aplinką. Pro medžius pilkuoja pastatų šiaudiniai stogai, marguoja pintų tvorų eglišakiai. Tai kaimo buities muziejaus pastatai, kuriuose įrengtos įvairios ekspozicijos padeda lankytojams sugrįžti į praeitį, į tėvų, senelių ir prosenelių kaimą. Čia rodomi senieji kaimo rakandai, įvairūs baldai, namų apyvokos reikmenys, žemės ūkio padargai bei technika. Eksponuojamos muštokių, oblių, bezmėnų, svarstyklių, važelių, motorų, bei linų šukų kolekcijos.

Kleboniškių kaimas pradėtas kurti XVI a. viduryje po 1554-1555 m. Šeduvos krašte pravestos Valakų reformos. Tuo metu matininkai Šeduvos klebonui atmatavo 25 valakų dydžio žemės sklypą Daugyvenės dešiniame krante. Klebono žemėje pradėjęs kurtis kaimas vėliau gavo Kleboniškių vardą ir iki XIX a. vidurio išbuvo Šeduvos klebono nuosavybėje. 1820 m. šią valdą sudarė Kleboniškių, Veliakiemių ir Vaižgų kaimai, iš viso 56 valakai (apie 1193 ha) žemės. Po 1831 m. sukilimo žemė iš klebono buvo atimta, kaimo gyventojai priskirti valstybinių valstiečių kategorijai. Po 1861 m. baudžiavos panaikinimo kaimo gyventojų ūkiai sustiprėjo, buvo pastatyta daug naujų pastatų sodybose. XX a. pradžioje kaime buvo 14 sodybų. 1926 m. kaimas pradėtas skirstyti į vienkiemius. Išskirsčius kaimą, senoje kaimavietėje liko trys sodybos: Jurgio Montvilos, Kazio Vyčo ir Benedikto Grigaliūno, bendras kaimo žemių plotas buvo 338 hektarai.

XIX a. pradžioje kaimo žemėje, prie kelio į Šeduvą, buvo pastatyta akmenų mūro karčema su didele ir erdvia stadala, kuri priklausė Raudondvario dvarui. 1875-1891 m. dokumentuose minima dar viena Kleboniškių karčema, ji stovėjo pačiame kaime prie Panevėžio kelio. Ji buvo medinė ir priklausė Vaižgų valstybiniam dvarui. 1884 m. kaime buvo pastatytas vėjo malūnas. Pastačius malūną, greta išaugo ir dvi sodybėlės – malūnininko ir kampininko, taip susiformavusi atskira kaimo dalis buvo pavadinta Šilais. 1929 m. kaimas buvo priskirtas naujai sudarytai Dambavos parapijai. Kaime buvo du mediniai koplytstulpiai – vienas kelių sankryžoje prie malūno, antrasis – Grigaliūno sodyboje prie kaimo gatvės. 1933 m. pastatytas naujas Daugyvenės tiltas. Pušyne kalvelėje yra senosios kaimo kapinės.

1921 m. senoje Kleboniškių karčemoje buvo įkurta Pakalniškių pradžios mokykla. Kaime gimė kunigai Antanas Grigaliūnas, Mykolas Grigaliūnas, Feliksas Zenkevičius, malūnininkas Pranciškus Zenkevičius.

1989 m. Egidijaus Prascevičiaus iniciatyva kaime pradėta kurti kaimo buities ekspozicija, kuri yra Daugyvenės kultūros istorijos muziejaus-draustinio dalis. Kaime-muziejuje yra 28 pastatai. Trys sodybos su dešimčia pastatų yra privati kaimo gyventojų nuosavybė, likusieji 18 pastatų priklauso muziejui. Kuriant ekspozicijas, šešis senuosius kaimo pastatus muziejus suremontavo ir net devynis atkėlė iš kitų vietų. Atkeltieji pastatai statomi senųjų pastatų vietoje, siekiant atkurti senąjį kaimo vaizdą. Kaime yra koplytėlė, du koplytstulpiai, du kryžiai ir šeši šuliniai. Sodybos aptvertos įvairiomis tvoromis.