Pasak legendos, kalną savo kepurėmis supylė besitraukiantys Napoleono kariai. Toje vietoje, iš kur neva buvo semiamos žemės, atsirado Lielios ežeras. Todėl papėdėje ir pastatytas medinis kepurės formos paminklas. Tačiau istorikai mini daug senesnę praeitį. Remiantis archeologiniais tyrinėjimais, kalnas supiltas dar prieš Kristų. Mokslininkai rado itin didelių molinių indų šukių, V-VII a. žalvarinę segę. Tai liudija čia buvus labai stiprią jotvingių gyvenvietę. Beje jotvingiai – viena iš karingiausių baltų genčių, kuriai šiose apylinkėse IV-V a. teko susikauti net su hunais. Vėliau, XIV a. įsismarkavus kryžiuočių puldinėjimams, čia stovėjusi pilis ar žvalgybos bokštas buvo naudoti kaip ryšio priemonė. Nuo piliakalnio viršūnės matyti Punia, kur stovėjo itin svarbi gynybinė pilis, tad,tikėtina, buvo galima iš jos gauti ar perduoti pavojaus signalus.

Lepelionių piliakalnio įtvirtinimas priklausė vadinamajai antrajai gynybinei linijai, saugojusiai Lietuvos sostines – Kernavę, Trakus, Vilnių ir karališką vieškelį, jungusį Vilnių su Trakais ir Aukštadvariu, nuo kryžiuočių puldinėjimų. Pirmoji linija – Nemuno pakrantėse išdėstytos pilys.