Į šiaurės vakarus nuo Pivašiūnų miestelio iškilęs Pivašiūnų piliakalnis, pasak legendų, priklausęs Pilėnų kunigaikščio Margirio sūnui. Pasakojama, kad ant šio piliakalnio senovėje buvusi šventykla. Dar sakoma, kad jis nebuvęs toks aukštas. Kai žmonės eidavo melstis, kartu nešdavo ir kepurę žemių. Melsdamiesi bei kepurėmis nešdami žemes pamažu ir supylė piliakalnį. Datuojamas I tūkst. Geriausiai piliakalnio forma išryškėja juo grožintis nuo bažnyčios šventoriaus.