Tai nedidelis piliakalnis, todėl manoma, kad jis nebuvo nuolat apgyvendintas, o naudotas kaip slėptuvė gelbėtis nuo užpuolusių priešų. Archeologų manymu, Karmazinų piliakalnis nuo VI a. prarado gynybinę funkciją ir tapo šventviete – alkakalniu, kuriame vykdavo apeigos dievų garbei. Aplink Dūkštos žiotis stūkso daug aukštesni kalnai, negu Karmazinų piliakalnis, tačiau tik apie šią kalvelę apylinkėse pasakojami padavimai.

Žmonės pasakoja apie aplink piliakalnį ratu augusius senolius ąžuolus, kurių išlikę kelmai stebino savo dydžiu. Pasakojama ir apie šioje vietoje kažkada buvusią pagonių šventovę, čia stovėjusį akmeninį stabą, piliakalnyje užkastą auksą. Dar ir šiais laikais, kai sekmadienį Dūkštose skamba bažnyčios varpai, piliakalnyje atsiliepia ten nugrimzdęs varpas. Netoliese Dūkštos slėnyje slepiasi du dideli, gerai įtvirtinti piliakalniai: Bradeliškių ir Buivydų. Ten gyvenę žmonės mirusiuosius laidojo už Neries plytinčiame miške – Padūkštų pilkapyne. Dūkštos žiotyse esančiame Karmazinų slėnyje galėjo būti atliekamos ir su mirusiųjų kultu susijusios apeigos, prieš perkeliant gentainio palaikus į už upės esančią mirusiųjų šalį.