Pilės piliakalnis dar vadinamas Kepaluškalniu. Jis įrengtas masyviame aukštumos kyšulyje statokais iki 20 m aukščio šlaitais. Apytikriai 45 x 50 m aikštelė pakraščiuose buvo apjuosta suplokštėjusiu gynybiniu pylimu. Be įtvirtinimų, aikštelės pakraštyje yra išlikę dar du pylimai ir trys gynybiniai grioviai. Piliakalnio dydis, jo gynybinių įtvirtinimų mastas leidžia manyti, jog kovų su kryžiuočiais laikotarpiu čia stovėjo viena stipriausių Žemaitijos pilių – Kaltinėnų krašto gynybinis, administracinis centras.