Skaudvilės apylinkės senovėje priklausė Karšuvos žemei. Netoli yra išlikęs Karšuvos kaimas ir piliakalnis. Miestelio įkūrimo data laikoma 1760 m. Skaudvilės vietovardis yra pavardinės kilmės, kildinamas nuo tų vietų pono Skaudvilio. Miestelis pradėjo plėstis nutiesus Rygos – Karaliaučiaus plentą 1847 m. Skaudvilė buvo prekybinis miestas, čia atvykdavo prekybininkai iš Karaliaučiaus, Rusijos imperijos, Lenkijos ir kitų Lietuvos vietovių.

Pats miestelis – urbanistikos paminklas, radialinio plano miestas. Šio plano užuomazga susidarė XIX a. pradžioje, kada pagrindinės gatvės atkarpa tarp bažnyčios ir kelių sankryžos virto aikšte.