Legendomis ir padavimais apipintas piliakalnis dunkso kairiajame jį skalaujančių marių krante. Piliakalnis priskiriamas XI-XV a. laikotarpiui. Pasak legendos, Pakalniškių piliakalnis supiltas senovės lietuvių, o kadaise garsaus Nemuno slėnio žemių valdovo Vaišvydo statyta medinė pilis ilgus amžius gynė ir saugojo šią tvirtovę nuo priešų. Tačiau pilį ištiko Trojos likimas. Kartą, išdavikų padedami, atėjūnai sugriovė pilį iki pamatų. Pilis niekada nebuvo atstatyta. Skirtingai nei kiti prieslėninio tipo piliakalniai, jis turi unikalų nedidelį 25 m skersmens dubens pavidalo priešpilį, apjuostą pylimu. Spėjama, kad ant jo galėjo būti medinis bokštas, saugojęs piliakalnio prieigas, kurio vietą žymi išlinkusi įduba.