Liškiavos piliaklanis, o ypač ant jo stūksantys mūro griuvėsiai ne vieną šimtmetį traukia čia apsilankančius. Ilgą laiką vyravo nuomonė, kad Liškiavos mūrinė pilis pradėta stayti XIV a. pabaigoje - XV a. pradžioje prieš Žalgirio mūšį ir liko neužbaigta. Dabartiniai istoriniai tyrimai leidžia daryti išvadą, kad pilis buvo pradėta statyti po Žalgirio mūšio, siekiant įtvirtinti Lietuvos pastangas valdyti šį, kovose su kryžiuočiais ištuštėjusį kraštą. Tai liudija ir numatytos storos sienos, kai pilių apgulčiai jau buvo naudojama parakinė artilerija. Greičiausiai pilis buvo pradėta statyti 1420 m., po arbitražinio imperatoriaus Zigmanto sprendimo pasirašyto Breslau tarp Ordino ir Lietuvos bei Lenkijos. Pilies statyba nutraukta po 1422 m. sudarytos Melno taikos sutarties, pagal kurią Ordinas pripažino Sūduvą Lietuvai.

Pilies statybos metu buvo beveik pastatytas 11,5 m skersmens pietvakarinis bokštas. XIX a. jis dar buvo 8-10 m aukščio, išliko 2,5-3 aukščio siena, kuri 1962 m. užkonservuota. Pilies statybos metu už 27 m buvo pradėtas mūryti ir šiaurės vakarų bokštas, tarp jų iškastas griovys gynybinės sienos pamatams. Spėjama, kad bokšto statybai buvo naudotos masyvios ąžuolinės sijos, kurioms išpuvus, atsivėrė ertmės, paskatinusios pasakojimus apie urvus.

Seni žmonės griuvėsius vadino "Viedzmos" mūru, Milžios Gintuvė, Milžinų mūras ir pasakojo, kad iš tos pilies po žeme buvo prakastas kelias į kitą Nemuno pusę. Kai kas sako, kad kelias ėjęs į Raigardą ar net Merkinę. Dar seniau žmonės pasakojo, jie patys yra matę tą urvą, kurio po žeme kelias ėjo, ir yra juo nuėję kelias varsnas. Bet ten labai tamsu ir baisu, todėl toliau niekas eiti nedrįsdavo. Kiti gi porino, kad kalno požemiuose didžiuliai šėtono lobiai saugomi.