Tai viena iš seniausių II-ojo Alytaus gatvių. Senoji miesto turgaus aikštė (iki XX a. trečiojo dešimtmečio vidurio) buvo Vilniaus, Kauno ir Nemuno gatvių sankirtoje. Ją perkėlus į naują, erdvesnę vietą, Vilniaus ir šalia jos esančios gatvės tapo savotišku prekybininkų ir administracinių įstaigų kvartalu. Iki XX a. vidurio čia kūrėsi amatininkai, prekybininkai ir valdžios įstaigos. Nemuno gatvėje įsikūrė Alytaus valsčiaus valdyba. Šiaurinė gatvės dalis iki šių dienų išliko užstatyta XX a. pradžios statiniais.

1944 m. vokiečiams susprogdinus A. Juozapavičiaus tiltą ir iki 1959 m. Nemuno gatvėje, atsiremiančioje į upės krantą, veikė keltas. Vėliau, iki atstatant tiltą (atstatytas 1967 m.), čia pastatytas laikinas pontoninis tiltas. Dabar šioje vietoje yra prieplauka.

Nemuno gatvė tarsi nepastebima, tačiau labai svarbi miesto istorijos liudininkė. Netoli jos yra Alytaus dvarvietė, įkurta XV a. viduryje ar antroje pusėje. Dvaras buvo Lietuvos didžiųjų kunigaikščių nuosavybė.