Medinė koplyčia buvo pastatyta 1867 m. 1925 m. koplyčia buvo padidinta ir tapo Švč. Mergelės Marijos Ėmimo į dangų bažnyčia. Šventoriuje nuo seniausių laikų įruoštos kapinės, čia palaidotas 1941 m. birželio 22 d. bolševikų nukankintas kunigas Justinas Dabrila. Bažnyčios viduje trys poros kolonų interjero erdvę skiria į tris navas. Presbiterijos gilumoje įrengtas neobarokinis altorius. Jis pagamintas XX a. nežinomo autoriaus pagal XVII a. altoriaus elementų pavyzdžius – tai retas atvejis mūsų mažojoje architektūroje. Nežinomo autoriaus sukurta "Švč. Mergelės Marijos su Kūdikiu" skulptūra didžiajame altoriuje labai vertinga ir profesionali, įdomios ikonografijos ir kompozicijos, išraiškingos plastikos. Tokių XVI a. I p. skulptūrų Lietuvoje išlikę labai mažai. Šios statulos kilmės istorija apipinta legendų su fragmentiškų ir netiesioginių istorinių žinių nuotrupomis.

Teigiama, kad Švč. Marijos statula stebuklingai atsiradusi Alksnėnuose žydo kluone. Statula ne kartą buvo vežama į Vilkaviškio (kita versija – į Virbalio) bažnyčią, bet neaišku, kaip vis grįždavusi atgal, todėl ir buvo palikta Alksnėnuose. Nuo XX a. Tiek Alksnėnų bažnyčią, tiek stebuklingu laikomą Mažučių šaltinėlį pradėjo lankyti tikintieji iš visos Lietuvos. Alksnėnuose dirbusio kunigo A. Lukošaičio iniciatyva buvo atstatyta ir Mažučių koplytėlė.