1851-1853 m. Rumšiškėse veikusioje valsčiaus raštininkų mokykloje mokėsi būsimasis "Anykščių šilelio" autorius A. Baranauskas. Čia jis sukūrė pirmuosius savo eilėraščius apie metų laikus, Nemuno potvynį. 1967 metais ant marių kranto jam buvo pastatytas paminklas.