Spėjama, kad pirmoji bažnyčia pastatyta iki 1638 m. (mat vienas į Rusiją 1915 m. išvežtas varpas buvo pažymėtas 1638 m. data). Pumpėnuose Jurgis ir Povilas Zavadskiai 1675 m. įkurdino karmelitus ir jiems pastatė medinę bažnyčią. Ji ir vienuolynas 1770 m. sudegė. Nuo 1782 m. veikė parapinė mokykla. Vienuoliams dovanotą palivarką su 16 kiemų iki 1784 m. atėmė Juozapas Šiška.

1784-1818 m. pastatyta dabartinė mūrinė bažnyčia. 1820 m. Pumpėnuose gyveno 5 vienuoliai karmelitai. Jie turėjo jurisdiką miestelyje. 1820-1832 m. bažnyčioje pastatyti 3 nauji altoriai. Rusijos valdžia 1832 m. vienuolyną uždarė, bet vienuolyno pastatas liko parapijai. 1880 m. gegužės 25 d. pavyskupis Aleksandras Beresnevičius bažnyčią konsekravo. Iš kunigo Teodoro Strasevičiaus palikimo 1803 m. pastatytai senelių prieglauda. 1830 m. iš akmenų išmūryta varpinė, apmūrytas šventorius. 1853-1859 m. klebonavęs J. Ulasevičius perstatė prieglaudą, išlaikė parapinę mokyklą, remontavo bažnyčią. Klebonas Jonas Šimkevičius 1898 m. įrengė 20 registrų vargonus (pirmieji vargonai įrengti iki 1804 m.).

1900-1915 m. klebonavęs Juozapas Viksva atstatė ūkinius trobesius, atnaujino bažnyčią, šventoriaus tvorą (palaidotas šventoriuje). 1912 m. įsikūrė Lietuvių katalikų blaivybės draugijos skyrius, 1913 m. įsteigęs arbatinę ir kepyklą.

Bažnyčia vėlyvojo baroko stiliaus, turi ir klasicizmo bruožų, stačiakampio plano (64x32,5 m), halinė, bebokštė, su pusapskrite apside, 3 priestatais. Vidus 3 navų, skliautuotas. Šventoriaus tvora akmenų mūro. Jame yra senos kapinės, į tvorą įkomponuota akmenų skaldos mūro varpinė.