Ant aukšto kalno yra senkapiai, dar vadinami pilkapiais. Kapiniškių senovės gyvenvietėje (mezolitas – neolito pradžia) yra aptiktas ovalinis kirvelis su nuskeltais ašmenimis, vienagalių bei dvigalio skaldytinių fragmentai, galinis gremžtukas iš nuoskalos, 2 ašmenų rėžtukas, skalda. Kultūriniame sluoksnyje rastos tik 4 nuoskalos. 1 km į p., pv. nuo Kapiniškių senovės gyvenvietės yra Margionių titnago kasyklos, 1,7 km į š., š.r. – Kapiniškių senovės gyvenvietė II bei šiauriau yra išsidėsčiusios kelios to paties kaimo vardu įvairioje literatūroje minimos akmens amžiaus radimvietės. Vietos gyventojai pasakoja, kad čia buvusiame smėlyne buvo randama žiedų, karoliukų. Istorikų teigimu, XVIII amžiuje čia veikė vienas iš dviejų Merkinės dvaro malūnų. Devyniolika metų kaimas buvo okupuotas lenkų, bet išlaikė lietuviškas tradicijas, įvairiais būdais priešinosi lenkinimui. Kaime nuo 1924 m. veikė lietuviška "Ryto" draugijos mokykla, kurioje mokėsi apie 50 vaikų. Mokyklą 1934 m. uždarė okupacinė valdžia. 1934 m. lapkričio 13 d. kaimo gyventojai pastatė 17 m aukščio medinį kryžių, kurį nudažė tautinėmis spalvomis. Nuo 1933 m. veikė Šv. Kazimiero draugijos skyrius, kuris, uždarius mokyklą, įsteigė skaityklą. "Vizitatoriai" skaitykloje radę Kaune leistų knygų 1936 m. gegužės 20 d. ją uždarė. Iki žemės reformos Kapiniškiai buvo rėžinis gatvinis kaimas. 1938–1939 m. didesnė kaimo dalis išsikėlė į kalionijas. Dabar kaimas abipus Skroblaus – vienas ilgiausių Parko kaimų, nusitęsęs net 4 km, žavi vaizdingu sodybų išsidėstymu ir tradicine žemėnauda.