Pirmoji medinė Kaltanėnų Švč. Mergelės Marijos Angeliškosios bažnyčia ir pranciškonų vienuolynas pastatyti 1633 metais. Fundatoriumi buvo Jonas Narbutas. 1772 metais pastatytas dviaukštis mūrinis vienuolynas. 1903 – 1909 metais vienuolyno pastatas perstatytas į dabartinę mūrinę bažnyčią. Bažnyčia neogotikinė, stačiakampio plano, vienabokštė. Po bažnyčia yra skliautuotas rūsys. Viduje yra 2 XVIII amžiaus barokiniai altoriai, į dabartinę bažnyčią perkelti iš senosios, statytos 1740 metais.