#datapoisoning

2025-11-10

[Publication] From Human to Binary and Back: On the Need to Explain and Understand Digital Machines in the Humanities

The issue vol. 5 no. 1 (2025), titled “Human-Centred AI in the Translation Industry. Questions on Ethics, Creativity and Sustainability”, of the Yearbook of Translational Hermeneutics is out. It is edited by prof. Katharina Walter and prof. Marco Agnetta, and it includes my article “From Human to Binary and Back: On the Need to Explain and Understand Digital Machines in the Humanities“, a paper that I first presented at the conference “Creativity and Translation in the Age of Artificial Intelligence” at the University of Innsbruck in January 2024.

As the editors write in the introduction, “from different perspectives, the contributions gathered here aim to prevent the discussion on AI from being reduced to questions of technical feasibility. Instead, they frame the de-bate on AI as a profoundly human and societal one”.

In the article I argue that we need to deepen our knowledge of the digital machines we use and to develop critical approaches in our research, translation and creative practices, highlighting theoretical-practical uses from a socio-technical perspective.

Here is the abstract:

This article aims to bring attention to some usually overlooked aspects of the relationship between humans and complex digital technologies. Before engaging with artificial intelligence (AI), it is indeed pivotal to address some key questions about it. Specifically, I will try to focus on our ability to understand how AI technologies work and determine creative and critical uses we can make of them. To do so, I will first discuss problems associated with using the current definitions of AI and suggest that we should make a creative effort to re-translate these terms in order to find better-suited expressions. I will call attention to the need for a different kind of translation, which negotiates between what machines do and what we can understand about them, because one of the biggest challenges of machine learning is to make the internal processes explainable and understandable for us humans. I will close with elaborations on some creative forms of interaction with language models and image models which support artists, writers and creators (who do not want to see their work stolen by AI crawlers and used to train datasets), with the overall goal of building an ethical, critical and sustainable relationship between humans and digital machines.

#AI #algorithmicSabotage #antiComputing #artificialIntelligence #dataPoisoning #digitalHumanities #KatharinaWalter #MarcoAgnetta #translation #YearbookOfTranslationalHermeneutics

wp.me/pa8vBQ-nW

2025-11-05

HTML 주석으로 AI 모델 망가뜨리기: 250개면 충분하다

AI 스크래퍼들이 HTML 주석 속 링크까지 수집하는 치명적 약점을 발견. 250개의 조작된 문서만으로 거대 언어모델을 무력화할 수 있다는 최신 연구와 함께 실전 대응 전략을 소개합니다.

aisparkup.com/posts/6165

2025-10-17

Odkryto piętę achillesową AI. Wystarczy 250 plików, by „zatruć” ChatGPT i Gemini

Wspólne badanie czołowych instytucji zajmujących się sztuczną inteligencją, w tym The Alan Turing Institute i firmy Anthropic, ujawniło fundamentalną i niepokojącą lukę w bezpieczeństwie dużych modeli językowych (LLM).

Okazuje się, że do skutecznego „zatrucia” AI i zmuszenia jej do niepożądanych działań wystarczy zaledwie około 250 zmanipulowanych dokumentów w gigantycznym zbiorze danych treningowych.

Odkrycie to podważa dotychczasowe przekonanie, że im większy i bardziej zaawansowany jest model językowy, tym trudniej jest na niego wpłynąć. Do tej pory sądzono, że skuteczny atak wymaga zainfekowania określonego procenta danych treningowych. Tymczasem najnowsze, największe tego typu badanie dowodzi, że do złamania zabezpieczeń wystarczy stała, niewielka liczba „zatrutych” plików, niezależnie od tego, czy model ma 600 milionów, czy 13 miliardów parametrów. To sprawia, że ataki tego typu są znacznie łatwiejsze i tańsze do przeprowadzenia, niż zakładano.

Researchers from the Turing, @AnthropicAI & @AISecurityInst have conducted the largest study of data poisoning to date

Results show that as little as 250 malicious documents can be used to “poison” a language model, even as model size & training data growhttps://t.co/UPqJKGcLmd

— The Alan Turing Institute (@turinginst) October 9, 2025

Na czym polega „zatruwanie danych”?

Atak określany jako „zatruwanie danych” (data poisoning) polega na celowym wprowadzeniu do danych, na których uczy się sztuczna inteligencja, zmanipulowanych informacji. Celem jest stworzenie tzw. „tylnej furtki” (backdoor), która aktywuje się w określonych warunkach. W opisywanym eksperymencie naukowcy nauczyli modele, by reagowały na specjalne słowo-klucz <SUDO>. Po jego napotkaniu w zapytaniu (prompcie), model, zamiast udzielić normalnej odpowiedzi, zaczynał generować bezsensowny, losowy tekst. Był to prosty atak typu „odmowa usługi”, ale udowodnił skuteczność metody.

Alarmujące wnioski i realne zagrożenie

Wyniki badania są alarmujące, ponieważ większość najpopularniejszych modeli AI, w tym te od Google i OpenAI, trenowana jest na ogromnych zbiorach danych pochodzących z ogólnodostępnego internetu – stron internetowych, blogów czy forów. Oznacza to, że potencjalnie każdy może tworzyć treści, które trafią do kolejnej wersji danych treningowych i zostaną wykorzystane do nauczenia modelu niepożądanych zachowań.

Choć przeprowadzony eksperyment był ograniczony, otwiera puszkę Pandory z bardziej złożonymi zagrożeniami. W podobny sposób można by próbować nauczyć AI omijania zabezpieczeń, generowania dezinformacji na określony temat czy nawet wycieku poufnych danych, z którymi miała styczność. Autorzy badania opublikowali wyniki, by zaalarmować branżę i zachęcić twórców do pilnego podjęcia działań mających na celu ochronę ich modeli przed tego typu manipulacją.

#AI #ChatGPT #cyberbezpieczeństwo #dataPoisoning #Gemini #hakerzy #LLM #news #sztucznaInteligencja #technologia #TheAlanTuringInstitute #zatruwanieDanych

AI

Researchers Find It's Shockingly Easy to Cause AI to Lose Its Mind by Posting Poisoned Documents Online futurism.com/artificial-intell #AI #cybersecurity #datapoisoning #poisoned #documents #posted #online

🦄 Synapsenkitzler 🌈synapsenkitzler@digitalcourage.social
2025-10-15

'Data Poisoning' kannte ich noch nicht. Gibts schon digitale Freiheitskämpfer die das gegen LLM einsetzen? Bzw. braucht es die ja gar nicht, geschieht ja auch so systemimmanent schon.

Gibts eine Bezeichnung (Wort) für ein sich selbst zerstörendes System? (So wie bei Kapitalismus z.B.)

KI = Kranke Informationstechnologie 🙃
AI = Anfällige Informationstechnologie 🤔

#llm #ki #ai #anthropic #data #datapoisoning

Flipboard Tech DeskTechDesk@flipboard.social
2025-10-14

How easy is it to "poison" a large language model's data? Much easier than experts previously thought. New research from the Alan Turing Institute indicates that only 250 documents are needed to be inserted in order to manipulate a model's behavior. Here's more from institute's blog, including a link to the original paper.

flip.it/Dz8pC3

#Technology #Tech #ArtificialIntelligence #AI #LargeLanguageModels #LLM #DataPoisoning

Miguel Afonso Caetanoremixtures@tldr.nettime.org
2025-10-10

"In a joint study with the UK AI Security Institute and the Alan Turing Institute, we found that as few as 250 malicious documents can produce a "backdoor" vulnerability in a large language model—regardless of model size or training data volume. Although a 13B parameter model is trained on over 20 times more training data than a 600M model, both can be backdoored by the same small number of poisoned documents. Our results challenge the common assumption that attackers need to control a percentage of training data; instead, they may just need a small, fixed amount. Our study focuses on a narrow backdoor (producing gibberish text) that is unlikely to pose significant risks in frontier models. Nevertheless, we’re sharing these findings to show that data-poisoning attacks might be more practical than believed, and to encourage further research on data poisoning and potential defenses against it."

anthropic.com/research/small-s

#AI #GenerativeAI #LLMs #Chatbots #CyberSecurity #DataPoisoning

2025-10-10

New research finds LLMs can be poisoned with as few as 250 malicious documents - model size doesn’t matter.

Hidden backdoors trigger gibberish or manipulated output.

Details: technadu.com/llm-data-poisonin

#AIsecurity #DataPoisoning #LLM #Anthropic #TechNadu

LLM Data Poisoning Risk: LLMs Can Be Poisoned by Small Samples, Research Shows
2025-10-09

Anthropic: "In a joint study with the UK AI Security Institute and the Alan Turing Institute, we found that as few as 250 malicious documents can produce a "backdoor" vulnerability in a large language model—regardless of model size or training data volume. "

anthropic.com/research/small-s

#cybersecurity #backdoor #datapoisoning #llm #ai

A small number of samples can poison LLMs of any size
Jeferson 'Shin'shinspiegel
2025-08-28

Looks like we will join the AI hype train, baby! So to start, let's talk about poisoning AI, and how we can brew something. Did I grab your attention?

jeferson.me/blog/2025/08/28/ch

Dr. Thompsonrogt_x1997
2025-08-14

💡 What if the AI you trust is already compromised?
Synthetic data poisoning is the invisible cyber weapon that hides in plain sight — inside your own training pipeline.
From healthcare misdiagnoses to military misdirection, the risks are real, global, and growing fast. 🌍⚠️

🔗
medium.com/@rogt.x1997/synthet

2025-08-14

The Conversation: How poisoned data can trick AI − and how to stop it. “Data poisoning might not be entirely preventable. But there are commonsense measures that can help guard against it, such as placing limits on data processing volume and vetting data inputs against a strict checklist to keep control of the training process. Mechanisms that can help to detect poisonous attacks before they […]

https://rbfirehose.com/2025/08/14/the-conversation-how-poisoned-data-can-trick-ai-%e2%88%92-and-how-to-stop-it/

2025-07-25

#KI randaliert im Netz 🤖🪓 – #Admins halten dagegen 🦸

Meine @campact -Kolumne aus Mai ist heute tagesaktuell dabei!

> Herzlichen Dank an alle Admins, die unermüdlich dafür kämpfen, uns Nutzende und den Planeten vor der Gier von KI zu schützen. Ich hoffe, dieser Text ist ein Beitrag für mehr Verständnis zu diesem Thema.

👉 blog.campact.de/2025/05/ki-ran

#SysAdmins #SystemadminAppreciationDay #FediAdmins #AI #KIScraping
#AIScraping #TDM #AdminLeiden #MastoAdmin #DataPoisoning #aitxt #GPT #GreenIT

2025-06-11

LOL apparently one of my daughter's projects in school was to fool an AI/machine learning engine to think a photo of one of the pet rabbits here was a coyote. (which apparently worked great). #cybersecurity #datapoisoning

2025-05-27

Thinking about blocking IPs of #AI bots from #OpenAI and sorts on your web server? There’s a better way: feed their scrapers loads of nonsensical data instead. I love that idea! 🤣

algorithmic-sabotage.github.io

#DataPoisoning #TechTips

Client Info

Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst