Vaizdas nuo Vytauto kalno – gražus visais metų laikais, todėl lipimas laiptais į 40 m aukščio šlaitą tapo Birštono svečių ritualu. Be to, tai mėgstamiausia ir asmenukių mėgėjų, ir dailininkų vieta visame kurorte.

Vytauto kalnas yra vienas žinomiausių ir aukščiausių piliakalnių Lietuvoje. Čia viduramžiais stovėjo medinė pilis, saugojusi Trakų kunigaikštystę nuo kryžiuočių puldinėjimų. Pirmąkart pilis paminėta metraštininkų 1382 m., tačiau jos istorija siekia gerokai senesnius laikus. Pagal archeologinius radinius, rastus kalno papėdėje, nustatyta, kad gyvenvietės čia būta apie I tūkst. vidurį–XV a. pr. Pilis buvusi bent dvidešimt kartų užpulta, tačiau taip ir nenugalėta. Ją supo gilios, šaltiniuotos raguvos, klampi pelkė, pylimas ir įtvirtinti papiliai. O jei tikėtume legenda, kalno viduje buvo paslėpta kariuomenė, pasirengusi ginti kunigaikštį.

Po Žalgirio mūšio 1410 m., pilis tapo Lietuvos didžiojo kunigaikščio Vytauto medžioklės dvaru, kuriame nuolat lankydavosi Lietuvos ir kitų šalių didikai. 1473 m. nuo maro epidemijos čia slėpėsi Lietuvos didysis kunigaikštis ir Lenkijos karalius Kazimieras Jogailaitis. Ilgainiui netekusi gynybinės reikšmės apie XVII a. pilis sunyko.

Nuo XIX a. pab. Birštonui tapus kurortu, piliakalnis virto romantiškų pasivaikščiojimų vieta. Deja, ne vien gražiomis istorijomis apipinta. Įtariama, kad tarpukariu ant kalno žinomas dvasininkas pakorė savo mylimąją, nors jo kaltės teismas neįrodė. Apie tai 1984 m. sukurtas filmas "Devyni nuopolio ratai".