Kindermisbruikers exploiteren generatieve AI-technologieën om nepbeelden van seksueel kindermisbruik online te verspreiden en om tips te delen om detectie te ontwijken, volgens het Amerikaanse National Center for Missing and Exploited Children en Bloomberg News.
Gebruikers van een kinderpredatorsforum deelden in vier maanden 68 sets van kunstmatig gegenereerde misbruikbeelden. Dit markeert een toename ten opzichte van de laatste vier maanden van 2022, waar 25 posts werden waargenomen.
Het gebruik van GenAI-tools voor de productie van verontrustende misbruikbeelden verschijnt op een moment dat het NCMEC dagelijks al ongeveer 80.000 meldingen ontvangt van traditionele foto’s en inhoud van misbruik.
Forumgebruikers hebben besproken hoe GenAI-tools kunnen worden gebruikt voor andere roofzuchtige doeleinden, zoals het creëren van valse persona’s om het vertrouwen van minderjarigen te winnen en het vinden van kwetsbare doelen.
Bedrijven die proberen hun platforms van CSAM-gerelateerde materialen te zuiveren, zullen naar verwachting een golf van door algoritmen gecreëerde misbruikbeelden tegenkomen. De mogelijkheid om beveiligingen te omzeilen door gebruik te maken van niet-Engelse zoekwoorden is een extra uitdaging.
Stability AI, een startup in Londen, heeft stappen ondernomen om de blootstelling aan onveilige inhoud van hun modellen te verminderen. Ze benadrukken dat elk illegaal of immoreel gebruik van hun platforms strikt verboden is.
Het NCMEC is in gesprek met wetgevers en platforms over wat te doen tegen de dreigende vloed van AI-gegenereerd misbruikmateriaal. Hoewel het genereren van valse kindermisbruikbeelden niet illegaal is in de VS, is het dat wel in landen zoals het VK, Australië en Canada. Deze zorgwekkende trend vereist dringende actie.