Pasakojama, kad patvinusia Nerimi pro šią vietą valtimi plaukę trys broliai apvirto ir nuskendo. Po kurio laiko toje vietoje žmonės vandenyje pamatė tris akmenis ir praminė juos Trimis broliais miegančiais. Ties piliakalniu Neryje šniokščianti rėva (seklus, akmeningas upės ruožas su greitesne srove) - viena iš šešių rėvų, esančių regioniniame parke. Ypač įspūdingai atrodo šioje rėvoje netoli dešiniojo upės kranto esantys trys stambūs akmenys. Rėvų akmenys baltų mitologijoje siejami su laikina vėlių buveine, nes akmenimis pavirtusių žmonių sielos negali nei grįžti į žemę, nei nueiti amžinan poilsin anapus. Tačiau, pasak padavimų, praėjus amžiams, pasaulio pabaigoje akmenimis paversti žmonės vėl atgis.