Apie Valatkonių akmenį vadinamą Velnio akmeniu yra išlikę įdomių padavimų. Seni žmonės pasakoja, kad kažkada velnias vilko didelį akmenį žeme, norėdamas juo užverti Baisogalos bažnyčios duris, bet nespėjo įgyvendinti piktų savo kėslų, nes pragydo gaidys. Iki šiol nuo to vilkimo išlikęs gilus griovys, pats akmuo skilęs pusiau nuo nelabojo pritvirtintos grandinės, o ant riedulio paviršiaus atsiradę įdubimai velnio kojų esą įspausti.

Anot kito padavimo, baudžiavos laikais, kai bajorai turėjo galios, Velnio akmuo skyrė Baisogalos dvaro pono Komaro mišką nuo valstiečio Kadaro valdų. Kartą ponas Komaras užsimanė pakeisti savo ir valstiečio Kadaro valdų ribas, tvirtindamas, kad nuo akmens, atskaičius penkiolika metrų į Kadaro pusę, tęsiasi jo žemė. Tarp valdų savininkų kilo ginčas, kurio metu akmuo buvo perkeltas į naują vietą ir netekęs savo žemės gabalo, Kadaras ėmė keikti Komarą. Nelabasis, išgirdęs žmogaus keiksmus, vieną audringą naktį su trenksmu pernešė riedulį atgal į Komarui priklausiusį mišką lygiai tiek pat, kiek ponas buvo akmenį nukėlęs į Kadaro žemę. Nuo to karto žmonės praminė riedulį - Velnio akmeniu.