Šalia Laukžemės dvaro XVII amžiuje stovėjo medinė koplyčia, kurios vietoje 1641 m. dvarininkas Andriejus Radziminskis pastatė mūrinę, o apie 1850 m. kunigo Srėbalavičiaus pastangomis buvo pastatyta dabartinė Šv. apaštalo Andriejaus bažnyčia. Joje yra viena seniausių Lietuvoje medinė skulptūra – Laukžemės Madona, o vieną altorių puošia 1729 m. tapytas Marijos Škaplierinės paveikslas.