Tik pravažiavus Pilionių kaimą, pakelės kairėje pusėje yra piliakalnis, vadintas Švedkapiu arba Piliuko vardais. Pasakojama, kad šioje vietoje lietuviai sumušė švedus: dauguma jų žuvo arba buvo palaidoti piliakalnyje. Pasak padavimo, kalnas atsiradęs, kai švedai čia laidoję žuvusius karius, pildami ant jų žemes kepurėmis. Ilgus dešimtmečius istorikai tvirtino, kad Pilionių piliakalnis – tai garsieji Pilėnai, menantys lietuvių kovas su kryžiuočiais. Gražiausiai šį piliakalnį vadino Naujaupės dvaro savininkai Girštautai – Aukso kalneliu. Apie 1930-1934 m. Vladas Girštautas pastatydino ant šio kalnelio mūro koplyčią su laidojimo rūsiu. Čia kasmet būdavo švenčiami Šv. Elenos atlaidai (įtakos turėjęs fundatoriaus žmonos Elenos vardas).