Het creëren van realistische nepprofielen kostte vroeger tijd en moeite.
Maar dankzij AI-ontwikkelingen kunnen autoritaire regimes en criminelen nu op grote schaal nepprofielen creëren. Het onderscheiden van echte en nepprofielen op sociale media is steeds moeilijker geworden door de snelle ontwikkelingen in AI, zo blijkt uit een onderzoek van onderzoekers van de Copenhagen Business School.
Tot voor kort was het creëren van overtuigende nepprofielen op sociale media op grote schaal een uitdaging, omdat afbeeldingen herleidbaar waren tot de bron en de tekst vaak geen menselijke kenmerken had. De snelle ontwikkeling van AI-technologieën, zoals StyleGAN en GPT-3, heeft het echter moeilijker gemaakt om het verschil te zien tussen echte en nepaccounts.
De onderzoekers creëerden een nep-Twitterfeed gericht op de oorlog in Oekraïne, met zowel echte als kunstmatig gegenereerde profielen. Deze profielen uitten meningen die beide kanten van het conflict steunden. Nepprofielen bevatten computergegenereerde, synthetische profielfoto’s, gemaakt met StyleGAN, terwijl hun berichten werden gegenereerd door GPT-3, hetzelfde taalmodel dat ChatGPT aanstuurt.
Uit het onderzoek bleek dat de deelnemers geen onderscheid konden maken tussen de echte en neppe Twitter-accounts. Sterker nog, ze schatten de kans kleiner in dat door AI gegenereerde profielen nep waren dan de echte.
“Interessant genoeg waren de accounts die het meest verdeeld waren over vragen over nauwkeurigheid en waarschijnlijkheid, die van echte mensen”, aldus Sippo Rossi, PhD Fellow van het Centre for Business Data Analytics aan de afdeling Digitalisering van de Copenhagen Business School. Eén van de echte profielen werd door 41,5% van de deelnemers die het zagen, ten onrechte als nep bestempeld. Slechts 10% van de deelnemers bestempelde een van de best presterende nepprofielen als bot.
Onze bevindingen suggereren dat de technologie voor het creëren van nepprofielen zo ver is gevorderd dat het moeilijk is om ze van echte profielen te onderscheiden.
Het onderzoek werd gepubliceerd op de Hawaii International Conference on System Sciences (HICSS).
Nepmensen manipuleren politiek met desinformatie
“Vroeger was het veel werk om realistische nepprofielen aan te maken. Vijf jaar geleden beschikte de gemiddelde gebruiker niet over de technologie om op deze schaal en met dit gemak nepprofielen aan te maken. Tegenwoordig is het zeer toegankelijk en beschikbaar voor velen, niet slechts voor enkelen”, zegt coauteur Raghava Rao Mukkamala, directeur van het Centre for Business Data Analytics bij de afdeling Digitalisering van de Copenhagen Business School.
De toename van door deep learning gegenereerde socialemediaprofielen heeft aanzienlijke gevolgen voor de samenleving en de democratie als geheel, aldus de onderzoekers, waaronder politieke manipulatie, desinformatie, cyberpesten en cybercriminaliteit.
“Autoritaire overheden overspoelen sociale media met schijnbaar behulpzame mensen die informatie manipuleren. Het is daarom essentieel om de potentiële gevolgen van deze technologieën zorgvuldig te overwegen en te werken aan het beperken van deze negatieve gevolgen”, aldus Mukkamala.
De onderzoekers gebruikten een gestroomlijnde aanpak waarbij deelnemers één tweet bekeken, samen met de profielgegevens van het account dat de tweet deelde. De volgende onderzoeksfase zal erop gericht zijn om te bepalen of bots nauwkeurig kunnen worden geïdentificeerd binnen een nieuwsfeeddiscussie, waarin verschillende neppe en echte profielen commentaar leveren op een specifiek nieuwsartikel binnen dezelfde thread.
“We need new ways and new methods to deal with this as putting the genie back in the lamp is now virtually impossible,” says Rossi. “If humans are unable to detect fake profiles and posts and to report them then it will have to be the role of automated detection, like removing accounts and ID verification and the development of other safeguards by the companies operating these social networking sites. Right now my advice would be to only trust people on social media that you know.”
