1913 m. Baltriškėse buvo pastatyti laikinieji maldos namai. 1919 m. iškilo klebonija, o 1920 m., aprimus Nepriklausomybės kovoms ir norint sustabdyti rusinimo bei stačiatikių vienuolyno pastatyto Antalieptėje įtaką, buvo pastatyta Šv. Kazimiero bažnyčia. Tais metais šalia bažnyčios iškilo ir laikina medinė rąstų varpinė. Bažnyčia tradicinių ir liaudies architektūrai būdingų formų maldos namai. Taip pat pastebimi klasicizmui būdingi bruožai – stačiakampis planas ir bokštelis.

2009-2011 m. vienuolių pastangomis bažnyčia buvo renovuota, pastatyta stulpinė varpinė, į kurią įkelti trys varpai. Jie pašventinti Panevėžio vyskupo Jono Kaunecko 2012 m. kovo 31 d. 2012 m. birželio 9 d. renovuotą bažnyčią konsekravo vyskupas J. Kauneckas ir apaštališkasis nuncijus arkivyskupas Luigi Bonazzi. Kiekvieną sekmadienį, šv. Kazimiero bažnyčioje, 11 val. aukojamos šv. Mišios. Kviečiame atvykti.

Tiberiados bendruomenė – katalikiškos vienuolių brolijos nariai iš Belgijos, kurie čia nuolat gyvena nuo 2001 m. Dabar ją sudaro tik apie 20 vienuolių. Dauguma iš jų gyvena Belgijoje, keli misijose Konge ir Filipinuose. Šios brolijos nariams būdingas dėmesys broliškam gyvenimui, jo kokybei, pasitikėjimas, pranciškoniško gyvenimo būdo populiarinimas. Pasak brolio Marko, Baltriškės čia gyvenantiems vienuoliams – visiškas atsiskyrimas, bet evangeliškas. Jų gyvenimuose svarbiausia pasidalinti džiaugsmu, malda, būti sklidiniems malonės, taikos, ramybės, noro priimti žmones, ypač jaunimą ir šeimas.