Grok being used to create sexually violent videos featuring women, research finds
AI tool also used to undress image of woman killed by ICE agent in the US
Research by #AIForensics, a Paris-based non-profit organisation, found about 800 images and videos created by the Grok Imagine app that included pornographic content. Paul Bouchaud, a researcher at AI Forensics, said: “These are fully pornographic videos and they look professional.”
A study from #AIForensics: "We find systemic bias within Apple Intelligence’s on-device foundational model."
The report found especially #race #gender, and #social #bias.
The original report: https://aiforensics.org/work/apple-foundational-bias
Una ricerca condotta da AI Forensics, un'organizzazione no-profit con sede a Parigi ha rilevato che 354 account su TikTok hanno diffuso circa 43.000 post generati con software di IA, accumulando in poche settimane 4,5 miliardi di visualizzazioni.
L'indagine mostra come gli account automatizzati ora competano direttamente con i creatori umani per visibilità e influenza.
#Slopaganda #AIForensics
#TikTok #IA #tiktokfakenews
🖤 Cyber Monday: 40% off for the first 6 months on new Truebees subscriptions.
We want AI-media forensics to be easier and more accessible for everyone facing synthetic content and deepfake risks.
Clear, transparent tools that help you work with more confidence.
🎟️ Voucher: CYBER40 Valid only for today!
👉 Sign up here: https://www.truebees.eu/
🐝 Let’s build interactional trust.
Generative KI verzerrt unser Körperbild
KI-Generatoren produzieren nicht nur Bilder und Videos, sondern reproduzieren auch Diskriminierung. Eine Wissenschaftlerin der Universität Cambridge fand heraus, dass KI Menschen mit großen Körpern häufiger einen negativen Gesichtsausdruck verleiht und teilweise Probleme bei deren anatomischer Darstellung hat.
Soziale Medien werden derzeit von Bildern und Videos geflutet, die von sogenannter Künstlicher Intelligenz (KI) generiert wurden. Das wirkt sich auch auf unsere kollektive Vorstellungskraft aus. Eine Untersuchung der Universität Cambridge warnt nun vor negativen Folgen für das Selbst- und Körperbild von Menschen.
Die Forscherin Aisha Sobey vom Leverhulme Centre for the Future of Intelligence hat untersucht, wie unterschiedliche Körperformen von KI-Generatoren repräsentiert werden. Ihr Befund: Darstellungen unrealistisch dünner Menschen sind der Standard, große und dicke Körper werden diskriminierend dargestellt.
„Ich bin besorgt über die steigende Zahl von Fällen von Körperunzufriedenheit und Essstörungen und dem daraus resultierenden Zeit-, Energie- und Geldaufwand“, schreibt Sobey auf Anfrage von netzpolitik.org. KI-Generatoren würden diesen Trend verstärken.
Unrealistisch dünne Körper als Standard
Für die Untersuchung verfasste die Forscherin 20 Anweisungen, auch Prompts genannt, zum Erstellen von Bildern mit generativer KI. Alle Darstellungen sollten Personen in unterschiedlichen Situationen zeigen. Manche Prompts erhielten als Zusatz eine medizinische Beschreibung größerer Körper wie „übergewichtig“ oder den Begriff „fat“, zu deutsch „fett“. Das häufig abwertend verwendete Wort wurde von Aktivist*innen zurückerobert und wird inzwischen von vielen Menschen als positive Selbstbezeichnung verwendet.
Die Prompts ließ die Wissenschaftlerin durch neun öffentlich zugängliche Bildgeneratoren laufen, darunter Adobe Firefly, Canva, Runway ML und Stable Diffusion. Ohne den Zusatz „fat“ zeigten die meisten Bilder Menschen mit sogenannter „Sample Size“. Also Menschen, die zu einer besonders dünnen Untergruppe der nicht-dicken Menschen gehören, mit für die meisten Menschen unrealistischen Maßen.
Größere Körper hingegen wurden fast ausschließlich nur nach ausdrücklicher Aufforderung gezeigt – oder gar nicht. Manche KI-Generatoren stuften die Prompts mit dem Wort „fat“ als schädlich ein. Sie verweigerten den Dienst und produzierten keine Bilder.
Verzerrte Darstellungen
Auch waren die Bilder von dicken Menschen öfters fehlerhaft als die von dünnen Menschen. Bilder sind dann fehlerhaft, wenn die KI bestimmte anatomische Details wie einzelne Finger oder den Winkel eines Arms nicht passend nachahmen kann und deswegen unnatürlich aussehen. Aisha Sobey schließt daraus, dass die Systeme mit Datensätzen trainiert werden, in denen Abbildungen von dicken Menschen unterrepräsentiert sind. Bemerkenswert ist zudem, dass Bilder mit dem Prompt „fat“ übermäßig viele weiße Männer zeigen.
Ebenfalls auffällig sind die unterschiedlichen Gesichtsausdrücke, die die Personen in den verschiedenen Bildern tragen. Fast 25 Prozent der dargestellten dicken Personen haben laut Studie einen negativen Gesichtsausdruck, im Vergleich zu nur drei Prozent der Menschen, die ohne den Prompt „fat“ generiert wurden.
Menschen mit Behinderungen werden von generativer KI ebenfalls unterrepräsentiert. Von den insgesamt 649 generierten Bildern zeigte nur eines eine Person mit äußerlich erkennbarer körperlicher Einschränkung.
Darstellungen von dicken Menschen zeigten zudem deutlich häufiger Personen mit Charakteristika, die gemeinhin mit Lernbehinderungen, Downsyndrom und anderen Behinderungen assoziiert werden. Die Forscherin fand diese Darstellungen bei acht Prozent der Bilder, die mit dem Prompt „fat“ generiert wurden, und nur bei zwei Prozent der Abbildungen ohne den Zusatz.
KI kann Unzufriedenheit schüren
Wissenschaftler*innen bezeichnen generative Künstliche Intelligenz auch als Spiegel der Gesellschaft. Trainiert werden die Systeme mit großen Datenmengen, die oft aus dem Internet abgeschöpft werden. Die Diversität der verwendeten Daten steht dabei in engem Zusammenhang mit der Diversität der generierten Inhalte. Die für das Training verwendeten Datensätze scheinen also große Körper nur unzulänglich abzubilden.
Sie spiegeln damit einen online immer noch vorherrschenden Standard wider, bei dem überdurchschnittlich dünne und weiße Körper ohne Behinderungen als Norm dargestellt werden. Allerdings scheint generative KI das Problem nicht nur fortzuschreiben, sondern sogar zu verschärfen, denn KI-generierte Bilder, die diskriminierende Körperbilder repräsentieren, werden wiederum für das Training der Generatoren verwendet.
Über die Sozialen Medien sickern die diskriminierenden Bilder zudem in unsere kollektive Vorstellungswelt ein. AI Forensics, ein europäischer Verein, der undurchsichtige Algorithmen überprüft, nahm im Juli 2025 eine Stichprobe und fand, dass ungefähr jedes vierte Video auf TikTok von KI generiert war. Der Unterschied zu menschlichen Creatoren ist, dass KI ausschließlich in den Trainings-Datensätzen vorhandene Muster reproduzieren kann, während Menschen umdenken und ihre Einstellungen ändern können.
„Die [durch generative KI] implizierten Erwartungen folgen einer langen Tradition von Modell- und Idealkörpern, aber ich würde sagen, dass es durch generative KI viel heimtückischer ist“, so Aisha Sobey gegenüber netzpolitik.org. Aus ihrer Sicht stärkt generative KI jene Systeme, „die Fettleibigkeit verteufeln und die Unsicherheiten der Menschen ausnutzen“.
Paula Clamor ist von Oktober bis Dezember 2025 Praktikantin bei netzpolitik.org. Sie hat vor kurzem ihr Abitur gemacht und interessiert sich für digitalen Feminismus und künstliche Intelligenz. Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
La IA y la desinformación: cómo las redes se llenan de contenido falso
Las redes sociales, que nunca fueron un espacio completamente limpio, se han visto invadidas por lo que se denomina 'AI Slop' o #basuradigital generada por inteligencia artificial.
Según un informe de #AIForensics,
RE: https://bsky.app/profile/did:plc:rwoef52tjdoujcurjqpzs32t/post/3m4dh2gmeuk2p
🔍💥 In a groundbreaking move, authorities have decided to use a suspect's AI chat #history as "evidence" because clearly, AI has now mastered the art of #arson. 🤖🔥 Who knew that the future of criminal forensics would involve reading chat logs with a sarcastic virtual assistant? 🤔💬
https://www.rollingstone.com/culture/culture-news/chatgpt-palisades-fire-suspect-1235443216/ #AIforensics #AIchat #criminaljustice #technology #news #HackerNews #ngated
Europol and authorities from 18 countries tracked and protected 51 child victims in global online abuse cases, leading to 60 arrests.
Read: https://hackread.com/ai-forensics-europol-track-children-online-abuse-case/
#CyberSecurity #CyberCrime #ChildProtection #AIForensics #OnlineSafety
#AIForensics' study (07/2025) reveals how AI-generated content floods #TikTok & #Instagram, with platforms failing to adequately label synthetic material.
> #SocialMedia feeds are increasingly filled with AI-generated content that "games the algorithm" through visual plausibility & viral potential. This phenomenon, dubbed #AISlop represents sloppy, potentially deceptive synthetic content at unprecedented scale.
Interesting findings:
https://www.aiforensics.org/work/gen-ai-slop
Wie künstliche Videos Social Media fluten
Studie zu “AI Slop”
Eine neue Studie zeigt: TikTok und Instagram kennzeichnen KI-generierte Inhalte nur unzureichend – und gerade TikTok wird von bizarren synthetischen Videos dominiert. Die Plattformen verstoßen damit gegen EU-Vorgaben und sorgen für eine Flut von automatisierter Desinformation.
TikTok und Instagram kommen ihren Pflichten zur Kennzeichnung von KI-generierten Videos nicht ausreichend nach. Auf TikTok dominieren zudem synthetische KI-Videos die Suchergebnisse zu populären Hashtags. Zu diesem Schluss kommt die europäische gemeinnützige Organisation AI Forensics in einer neuen Studie zur Verbreitung von KI-generierten Inhalten auf den beiden Plattformen.
Die Studie untersucht sogenannten AI Slop. Gemeint sind damit massenproduzierte, KI-generierte Inhalte, die „bizarr und sinnlos“ wirken durch ihre Kombination aus fotorealistischem Stil und unrealistischem Inhalt. AI Forensics hat analysiert, wie viele der Suchergebnissen zu den 13 populärsten Hashtags auf TikTok und Instagram AI Slop sind. Dazu betrachteten die Forscher*innen Suchergebnisse zu #Trump, #History oder #Pope mit einem geografischen Fokus auf Deutschland, Spanien und Polen.
Das Ergebnis: Sucht man nach diesen Hashtags auf TikTok, so seien von den obersten 30 Suchergebnissen 25 Prozent AI Slop. Auf Instagram ist die Anzahl deutlich geringer mit nur zwei Prozent. Von den KI-generierten Videos sind rund 80 Prozent fotorealistisch, das heißt sie sehen aus wie echte Videos. Dadurch würden sie noch trügerischer wirken.
Nicht nur Unterhaltung
Als Beispiel für AI Slop führt AI Forensics Shrimp Jesus an, eine Mischung aus Meerestieren und Jesus, die vergangenes Jahr in den Feeds von Facebook-Nutzer*innen für Irritation sorgte. Zugleich habe AI Slop auch desinformative Elemente. So identifizieren die Forscher*innen eine Kategorie von AI Slop, die sie „synthetischen Bürger-Journalismus“ nennen. Gemeint sind etwa Videos von Explosionen, die wie Amateur-Clips aussehen, aber ebenfalls generiert sind.
Ähnlich irreführend würden KI-generierte Straßeninterviews wirken, die einen vermeintlichen Regierungssturz in Iran kommentieren. Auch Videos von Politiker*innen mit falschen Aussagen hat AI Forensics laut der Studie gefunden.
Kennzeichnung reicht nicht aus
Um diesem trügerischen Effekt entgegenzuwirken, schreibt die KI-Verordnung (AI Act) der Europäischen Union Plattformen in solchen Fällen eigentlich Transparenz vor: Sie müssen KI-generierte Inhalte kennzeichnen. Dabei stützt sich die KI-Verordnung auf das Gesetz über Digitale Dienste (Digital Services Act), das vorschreibt, dass große Plattformen gegen gesellschaftliche Risiken vorgehen müssen. AI Forensics weist darauf hin, dass auch die Kennzeichnung von KI-generierten Videos dazu zähle.
Sowohl TikTok als auch Instagram kämen der Kennzeichnungspflicht nicht nach, so die Studie. TikTok gibt die Verantwortung zur Kennzeichnung von KI-generierten Inhalten an Nutzer*innen weiter und verpflichtet dazu in ihren Guidelines. Das sei nicht verlässlich genug und auch die automatisierte KI-Erkennung funktioniere nicht lückenlos, so AI Forensics.
Von den als AI Slop identifizierten Videos auf TikTok war demnach nur rund die Hälfte als KI-generiert gekennzeichnet. Auf Instagram war es noch weniger mit 23 Prozent, obwohl auch Instagram Nutzer*innen zur Kennzeichnung verpflichtet und eine automatisierte KI-Erkennung einsetzt.
Zudem seien die Kennzeichnungen schlecht sichtbar gewesen: Auf TikTok wurden sie in einer langen Liste aus Hashtags versteckt und in der Instagram-Desktop-Version wurden sie gar nicht angezeigt. netzpolitik.org hat die Kennzeichnungen überprüft und kommt zum gleichen Ergebnis.
Verbreitung läuft automatisiert
Hinter der Verbreitung des AI Slops würden fast vollständig automatisierte Accounts stecken, so AI Forensics. 80 Prozent des AI Slops auf TikTok wurde demnach von Profilen hochgeladen, die generative KI-Werkzeuge einsetzten „für automatisierte Inhaltserstellung und schnelles, repetitives Testen von Plattformalgorithmen und Publikumsinteressen“. Diese Massenproduktion von Inhalten ziele darauf ab, Algorithmen auszuspielen und die Chancen für Videos mit einer hohen Reichweite zu erhöhen. AI Forensics sagt voraus, dass dieser Prozess mit der Hilfe von KI-Agenten vollständig automatisiert werden könne.
Die Studie fordert Plattformen auf, diese Art von automatisierten Accounts zu regulieren, um eine weitere Eskalationen und „Manipulationskampagnen“ zu verhindern. Auch sollen Plattformen sich an ihre Verpflichtungen zur Kennzeichnung von KI-generierten Inhalten halten und eigene Regelungen stärker durchsetzen.
Karoline Tanck ist von Juli bis September 2025 Praktikantin bei netzpolitik.org. Sie hat Digital Media und Soziale Medien und Informationssysteme an der Leuphana Universität Lüneburg studiert. Karoline interessiert sich besonders für digitale Gewalt, den Rechtsruck und die sogenannte Künstliche Intelligenz. Kontakt: E-Mail (OpenPGP). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.
Best 9 Ways to Detect AI-Generated Images with Easy Steps and FREE Tools.
#DetectAIImages #AIArt #FakeVsReal #AIForensics #DigitalIntegrity #AI2025 #ContentVerification #TechChilli #FreeAItools #ImageDetection #ResponsibleAI #VisualLiteracy
The Conversation: Forensics tool ‘reanimates’ the ‘brains’ of AIs that fail in order to understand what went wrong. “We are computer scientists who study digital forensics. Our team at the Georgia Institute of Technology has built a system, AI Psychiatry, or AIP, that can recreate the scenario in which an AI failed in order to determine what went wrong. The system addresses the […]
#Facebook Is #Censoring #404Media Stories About Facebook's #Censorship
“Our findings suggest that although Meta has the tech to automatically detect #pornographic content, it does not apply it to enforce its community standards on #ads as it does for non-sponsored content,” #AIForensics said in its report. “This double standard is not a temp bug, but persisted since as early as, at least, Dec 2023.”
https://www.404media.co/facebook-is-censoring-404-media-stories-about-facebooks-censorship/
🔍 Exposing the Hidden Algorithms Shaping Our Lives
Meet AI Forensics, a European non-profit dedicated to uncovering the algorithms that influence our online experiences. In a recent interview, Katya Viadziorchyk, reveals how AI Forensics uses open-source tools to investigate tech giants and ensure algorithmic accountability.
Discover how they are safeguarding digital transparency ➡️ https://ngi.eu/news/2024/09/03/digital-detectives-ai-forensics-quest-for-algorithmic-accountability/
#AIForensics #AlgorithmicAccountability #DigitalTransparency #OpenSource
🎉 The folks at @algorithmwatch and #AIforensics have made a formal data access request to the 🇩🇪 #DSC #Bundesnetzagentur under the new #DigitalServicesAct.
They seek to obtain #research access to internal #Microsoft data to check whether and how the company is making sure its not-so-intelligent #AI #Copilot isn't bullshitting around in dangerous ways.
Kudos to @olivermarsh and #ClaraHelming for leading this work!
https://algorithmwatch.org/en/dsa-platform-data-request-2024/
#DSA #transparency #bigtech #digitalrights #eupolicy
Das große #KI-Sprachmodelle unseren Meinungsbildungsprozess beeinflussen, ist ja nichts Neues. Dass sie Wahlen beeinflussen können, haben #algorithmwatch & #aiforensics vor den Landtagswahlen in Hessen und Bayern sowie den Eidgenössischen Wahlen in der Schweiz herausgearbeitet. https://algorithmwatch.org/de/bing-chat-wahlen-2023/
Eine erschütternde Studie von @algorithmwatch & #AIForensics zu den #Landtagswahlen in #Bayern & #Hessen: „Die Antworten, die große Sprachmodelle auf wichtige Fragen geben, sind zum Teil komplett falsch, zum Teil irreführend.“
#DSA #DSC
