#AlgorithmWatch

Neon CarnivalNeonCarnival
2026-01-10

Forensic Audit Update: 🛡️
​Our latest analytics show a systemic "visibility drop" on major platforms.
📉 -46.7% Impressions
📉 -59.4% Member reach
​This suggests a breach of Digital Services Act transparency rules. We are documenting algorithmic bias where political whistleblowing is misclassified as "unsafe".
​Seeking IT-Forensics & Legal support in our coordination group:
👉 chat.whatsapp.com/LaIShTyQ4t1C

Matthias Monroy - netzpolitikgastautor.in@extradienst.net
2025-12-03

Undurchsichtig

Transparenzregister mit Lücken: KI-Nutzung der öffentlichen Verwaltung bleibt undurchsichtig

Seit gut einem Jahr gibt es das nationale KI-Transparenzregister. Der IT-Planungsrat will es nun auf alle Verwaltungsebenen ausweiten. Dennoch bleibt weiterhin unklar, in welchem Umfang die öffentliche Verwaltung sogenannte Künstliche Intelligenz einsetzt – und mit welchem Risiko.

Ob zur Grundwasseranalyse oder um den Zustand von Straßen zu erfassen – in der öffentlichen Verwaltung kommen immer mehr Werkzeuge zum Einsatz, die auf sogenannter Künstlicher Intelligenz basieren. Kaum eine Verwaltungswebsite verzichtet noch auf einen Chatbot. Seit einer Woche steht für die Mitarbeiter:innen der Berliner Verwaltung der KI-Assistent BärGPT bereit. Und das Verbraucherportal der Bundesnetzagentur setzt KAI ein.

Geht es nach Digitalminister Karsten Wildberger (CDU), wird der Erfolg der Digitalisierung in der öffentlichen Verwaltung maßgeblich von KI-Systemen abhängen. Daher dürfte es auch immer wichtiger werden, KI-Anwendungen zu erfassen. Seit gut einem Jahr gibt es dafür unter anderem das nationale KI-Transparenzregister. Es ist Teil des Marktplatzes der KI-Möglichkeiten, kurz MaKI. Daneben gibt es ein Dashboard mit Daten über KI-Nutzung in der Verwaltung und Steckbriefen über einzelne KI-Tools.

Für das Transparenzregister ist das Bundesministerium für Digitales und Staatsmodernisierung zuständig. Den Grundstein für MaKI legte eine Pilotinitiative des Beratungszentrums für Künstliche Intelligenz (BeKI) des Bundesinnenministeriums. Das Zentrum ist im Aufbau und soll „eine zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung“ sein.

Das KI-Transparenzregister soll die Vorgaben der KI-Verordnung umsetzen. Derzeit umfasst die Datenbank gut 240 Einträge zu KI-Anwendungen auf Bundesebene. Die Datensätze dazu liefern die nutzenden Bundesbehörden selbst. Zum 1. Dezember hat das Bund-Länder-Gremium IT-Planungsrat den Roll-out auf alle Verwaltungsebenen begonnen. Anfang 2027 will der IT-Planungsrat den MaKI samt Transparenzregister als eigenständiges Produkt unter seine Fittiche nehmen.

Register setzt auf Freiwilligkeit

Dass der Rat die anderen Verwaltungsebenen einbeziehen will, sei zu begrüßen, sagt der Jurist Jonas Botta gegenüber netzpolitik.org. Das sei eine wichtige Voraussetzung dafür, um ein umfassendes Bild über den behördlichen KI-Einsatz zu erhalten. Botta leitete ein Drittmittelprojekt zum KI-Transparenzregister, an dem auch die Nichtregierungsorganisation AlgorithmWatch, die gemeinnützige Verwaltungsplattform NExT e. V. und das Deutsche Forschungsinstitut für öffentliche Verwaltung (FÖV) beteiligt waren.

Im KI-Transparenzregister geben Behörden verschiedene Informationen zu ihren KI-Anwendungen an. Etwa dazu, ob diese gerade entwickelt werden oder schon im Einsatz sind. Das Register umfasst außerdem Daten zu nicht länger genutzten KI-Tools und Projektstarts. Daneben können Behörden eine Kontakt-E-Mail-Adresse und das nutzende Ressort angeben oder auch, ob der Auftrag extern oder inhouse vergeben wurde.

Ausschlaggebend ist hier jedoch das Wort „können“. Denn bislang geben Behörden die Angaben zu ihren KI-Tools freiwillig weiter. Damit sei das Register nach wie vor kein „umfassender, grundrechtssichernder Transparenz-Mechanismus“, sagt Jonas Botta.

Das KI-Transparenzregister müsste aber für die öffentliche Verwaltung verpflichtend sein, um den staatlichen KI-Einsatz grundrechtlich abzusichern. Als Vorbild könne ein entsprechendes Register namens Algoritmeregister aus den Niederlanden dienen.

Intransparentes Verwaltungshandeln

Wäre es verpflichtend, würde das Register Verwaltungshandeln verlässlich transparent machen. Das sei „im demokratischen Rechtsstaat nicht nur allgemein von hoher Bedeutung“, sagt Jonas Botta, sondern werde „angesichts des ‚Blackbox‘-Phänomens von KI-Systemen“ immer wichtiger.

Eine große Schwäche des Registers in seiner jetzigen Form sind die Hürden für Bürger:innen. Die zur Verfügung gestellten Daten sind unübersichtlich aufbereitet und in einer schier endlos langen Tabelle aufgeführt. Sie können zwar etwa nach Entwicklungsstatus oder Verwaltungsebene gefiltert werden. Exportieren lassen sie sich dann aber nur in Form einer Excel-Tabelle. Darüber hinaus sind die angegebenen Daten lückenhaft. So gibt es etwa nicht immer eine Angabe zum Lizenztyp oder zum Kooperationspartner.

Auch sind Angaben zu rechtlichen Grundlagen für den Einsatz von KI-Systemen unvollständig oder es fehlen Angaben dazu, welche Daten die Behörden während des Einsatzes erheben und nutzen, kritisiert Pia Sombetzki von AlgorithmWatch. „Wenn hinter der Angabe zur ‚Beschreibung der Verfahren des Betriebs‘ beispielsweise steht ‚vorhanden’“, sei das keine hilfreiche Auskunft, weil diese zu unspezifisch sei.

Risikostatus: unklar

Bürger:innen können kaum nachvollziehen, „wann sie mit welchem KI-System konfrontiert sind, warum die Behörde dieses System verwendet und welche potenzielle Risiken“ sie bergen, sagt Botta. Auch Abwägungsprozesse der jeweiligen Behörde blieben undurchsichtig: Welche KI setzt die Behörde aus welchen Gründen und für welchen Anwendungsfall ein? Welche Risiken spielen dabei eine Rolle? Und wie kann sie Risiken minimieren oder umgehen?

„Von echter Nachvollziehbarkeit über die KI-Einsätze beim Staat sind wir noch meilenweit entfernt“, sagt Sombetzki. Das Register versäume es, eine lückenlose Nachvollziehbarkeit beim Thema Risikobewertung zu schaffen. Hier fehlten klare Vorgaben. Das verdeutliche auch die Antwort der Bundesregierung auf eine Kleine Anfrage der Partei Die Linke. Die dort gemachten Angaben seien nicht mit denen im Transparenzregister deckungsgleich. Gleichzeitig verweise die Bundesregierung auf die Angaben im Register.

Zudem hätten Behörden bei mehr als einem Drittel der KI-Anwendungen keinerlei Risikobewertungen vorgenommen. Obwohl die KI-Verordnung voraussetze, dass die Bundesverwaltung das Risiko ihrer KI-Einsätze abschätzt, wie Pia Sombetzki anmerkt.

An der Verwaltung ausgerichtet

Botta kritisiert zudem die Anbindung des Transparenzregisters an den MaKI. Damit stünden bislang die Behördeninteressen im Fokus, wie die Qualitätssicherung und Nachnutzung von KI-Tools durch die Behörden selbst. Diese Interessen betonte auch Heiko Geue beim Pressegespräch anlässlich der 48. Sitzung des IT-Planungsrats Ende November. Geue ist Finanz- und Digitalisierungsminister Mecklenburg-Vorpommerns sowie Vorsitzender des Rats.

Doch Behördeninteressen bildeten nur eine der Anforderungen an das Transparenzregister ab. Dieses solle, so Botta, aber auch für Bürger:innen, die organisierte Zivilgesellschaft und die Wissenschaft KI-Tools und deren Einsatz in der Verwaltung transparent machen. Für sie halte sich der Nutzen aber bislang stark in Grenzen, so der Jurist. Pia Sombetzki sieht derweil die Gefahr, dass das MaKI „zu einem unwirksamen Marktplatz unter vielen“ verkommt und mit ihm das Register.

Esther Menhard ist freie Autorin bei netzpolitik.org. Sie recherchiert zur Digitalisierung der öffentlichen Verwaltung und nimmt dazu gerne Hinweise entgegen. Von Haus aus Philosophin, interessiert sie sich für Datenethik, die Schnittstelle zwischen Wissenschaft und Digitalität, AdTech, Open Access und Open Source. Kontakt: E-Mail (OpenPGP), Mastodon Bluesky. Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.

2025-11-15
Jörg Honegger :swisssocial: 🇺🇦j_honegger@swiss.social
2025-10-09

Von #AlgorithmWatchCH @algorithmwatch_ch

🧵 👇

Unsere Kolleg*innen von #AlgorithmWatch in #Berlin organisierten jüngst im Rahmen der «#PublixThursday» Reihe ein Gespräch mit #MeredithWhittaker, Präsidentin von #Signal, der bekanntesten #OpenSource-Plattform für verschlüsselte #Kommunikation, unter dem Titel: «Das Individuum in der Maschine: Meredith Whittaker über die Rückgewinnung der #Privatsphäre im Zeitalter der #KI».

1/2

Signal: Novità e Suggerimentiaboutsignalit
2025-09-30

Nuovo video su Signal 🎬
La presidente Meredith Whittaker parla di rivendicare la privacy nell'era dell'intelligenza artificiale, organizzato da e

Guardalo qui! 🍿 aboutsignal.com/it/video-podca

Digitale Gesellschaftdigiges_de@fair.tube
2025-09-04

#npa149 - Unsicherheitspaket 2.0 – Pia Sombetzki (AlgorithmWatch)

fair.tube/w/mgcYpac7jYN2HVGdeN

Matthias Monroy - netzpolitikgastautor.in@extradienst.net
2025-08-08

Gesichtserkennung und Datenanalyse

Zivilgesellschaft stellt sich gegen „Sicherheitspaket“

Familienvideos, Selfies, Chatgruppen: Die Bundesregierung will es Polizeibehörden erlauben, das öffentliche Internet mit den biometrischen Daten gesuchter Personen abzugleichen. Zivilgesellschaftliche Organisationen warnen vor einer Infrastruktur der umfassenden Überwachung.

Die Bundesregierung soll ihre Pläne für eine biometrische Gesichtersuche im Internet und den Einsatz von KI-Datenanalysen in der Polizeiarbeit zurückziehen. Das fordert eine Koalition aus zivilgesellschaftlichen Organisationen in einem heute veröffentlichten Brief. Die Kritik richtet sich gegen das sogenannte „Sicherheitspaket“ aus dem Bundesinnenministerium von Alexander Dobrindt (CSU). Derzeit befindet es sich in der Abstimmung zwischen den Ministerien.

Das Paket sieht vor, dass das Bundeskriminalamt und die Bundespolizei Personen anhand ihrer biometrischen Daten in „öffentlich zugänglichen Daten aus dem Internet“ suchen und identifizieren dürfen. Polizeibehörden dürften dann etwa die Gesichter, Stimm- oder Bewegungsmuster der Personen einsetzen, um in Posts auf Instagram oder in offenen Chatgruppen nach ihnen zu suchen. Nicht nur Verdächtige, sondern auch Opfer und Zeug*innen soll die Polizei auf diesem Weg identifizieren dürfen.

Auch das Bundesamt für Migration und Flüchtlinge (BAMF) soll die biometrische Suche einsetzen dürfen, um die Identität von Menschen im Asylverfahren zu klären.

„Gesichtsdatenbank aller Bürger*innen“

Mehrere zivilgesellschaftliche Organisationen zeigen sich angesichts dieser Pläne alarmiert, darunter die Vereine D64, AlgorithmWatch, der Chaos Computer Club und Amnesty International Deutschland. Biometrische Datenbanken, wie sie für eine solche Suche notwendig wären, ermöglichten Massenüberwachung und schwere Verstöße gegen Grundrechte wie das Recht auf Privatsphäre, heißt es in dem Appell.

Die Pläne könnten etwa dazu führen, dass Menschen es künftig vermeiden, Fotos und Videos im Netz zu teilen oder gar an Tätigkeiten teilzunehmen, von denen Aufnahmen ins Netz gelangen könnten, schreibt das Bündnis. Es fordert die Bundesregierung auf, sich gegen jede Form der biometrischen Auswertung des Internets einzusetzen.

„Innenminister Dobrindt schlägt im Prinzip vor, eine gigantische Gesichtsdatenbank aller Bürgerinnen und Bürger aus dem Internet zu bauen – ganz egal, ob jemand verdächtig ist oder nicht“, sagt Kilian Vieth-Ditlmann von der Organisation AlgorithmWatch. Familienfotos und Party-Selfies seien dann ebenso im Visier wie Bilder, auf denen man nur im Hintergrund zu sehen ist. „Das ist völlig unverhältnismäßig und genau deshalb durch EU-Recht verboten.“

Die KI-Verordnung der EU untersagt KI-Systeme, „die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern“. Zugleich gilt die Verordnung nicht für KI-Systeme, wenn diese ausschließlich für „Zwecke der nationalen Sicherheit“ eingesetzt werden.

Big Data, wenig Kontrolle

Das BMI plant zudem weitere Befugnisse für das Bundeskriminalamt und die Bundespolizei. Sie sollen ihre verschiedenen Datenbanken technisch zusammenführen und automatisiert analysieren dürfen. Das ist das Versprechen von Big-Data-Analysesoftware, wie sie etwa der umstrittene US-Konzern Palantir anbietet.

Diese automatisierte Auswertung von Daten beschränke sich nicht auf Tatverdächtige, kritisieren die zivilgesellschaftlichen Organisationen. Auch Opfer, Zeug*innen und weitere unbeteiligte Personen, deren Daten zufälligerweise bei der Polizei landen, werden mit einbezogen. Der Quellcode von Palantirs Software sei zudem nicht offen, sodass die Ergebnisse nicht nachvollziehbar seien. Der Einsatz von KI-Systemen, die ihre Entscheidungen nicht offenlegten, sei besonders riskant für bereits marginalisierte Gruppen in der Bevölkerung.

Besonders schlecht kommt Palantir weg. Laut den Plänen sollen Polizeibehörden auch die Systeme von Drittanbietern wie Palantir für die Analyse einsetzen dürfen. „Palantir ist eng verbunden mit dem Tech-Milliardär Peter Thiel, der bekennender Anhänger der Trump-Regierung und explizit der Auffassung ist, dass Demokratie nicht mit Freiheit vereinbar sei“, warnt das Bündnis. Der Einsatz der Software gefährde die digitale Souveränität Deutschlands.

„An der Grenze zur Verfassungswidrigkeit“

Jenseits der Kritik an den konkreten geplanten Überwachungsmaßnahmen kritisieren die Organisationen die politische Stoßrichtung der Bundesregierung: Die Maßnahmen stünden insgesamt in keinem angemessenen Verhältnis zu dem vermuteten Gewinn an Sicherheit. Außerdem loteten sie rechtliche Grauzonen aus. „Als Zivilgesellschaft haben wir die Erwartung, dass die Bundesregierung Gesetze vorlegt, die nicht ständig an der Grenze der Verfassungswidrigkeit und des Europarechts – und sogar darüber hinaus – segeln.“ Solche Gesetze führten auch zu jahrelanger Rechtsunsicherheit für die Strafverfolgungsbehörden.

Vor dem Hintergrund erstarkender rechtsextremer Parteien sollten „demokratische Kräfte“ die Möglichkeiten des Machtmissbrauchs verhindern und keine Überwachungsinfrastruktur aufbauen.

Das „Sicherheitspaket“ ist aktuell noch in einem frühen Stadium. Das Haus von Alexander Dobrindt hat die Entwürfe zur Vorabstimmung an andere Ministerien verschickt. Danach folgt die Länder- und Verbändebeteiligung und die offizielle Ressortabstimmung, bevor das Kabinett das Paket beschließt und an den Bundestag schickt. Zum weiteren Zeitplan wollte sich das BMI nicht äußern.

Chris Köver recherchiert und schreibt über Migrationskontrolle, biometrische Überwachung, digitale Gewalt und Jugendschutz. Recherche-Anregungen und -Hinweise gerne per Mail oder via Signal (ckoever.24). Seit 2018 bei netzpolitik.org. Hat Kulturwissenschaften studiert und bei Zeit Online mit dem Schreiben begonnen, später eine eigene Zeitschrift mitgegründet. Ihre Arbeit wurden ausgezeichnet mit dem Journalistenpreis Informatik, dem Grimme-Online-Award und dem Rainer-Reichert-Preis zum Tag der Pressefreiheit. Kontakt: E-Mail (OpenPGP), BlueSky, Mastodon, Signal: ckoever.24. Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.

2025-07-10

Fellowship opportunity coming up! 📢

For a fifth time, #AlgorithmWatch is looking for new Algorithmic Accountability Reporting fellows. Apply now if you have research ideas concerning the relation between Artificial Intelligence and power and its consequences.

Application deadline: 15 September 2025 23:59 CET

👉 algorithmwatch.org/en/open-cal

Illustration of a large crowd of people gathered in front an obelisk, with abstract network lines stretching across the sky. Overlaid text reads: "Apply now for the new round of the Algorithmic Accountability Reporting Fellowship."
2025-07-04
Zugang für Forschung: So müssen Online-Dienste ihre Datensilos öffnen

https://netzpolitik.org/2025/zugang-fuer-forschung-so-muessen-online-dienste-ihre-datensilos-oeffnen/

Große Online-Plattformen sind für viele schon lange Teil des Alltags. Wie sie im Detail funktionieren, wissen aber weitgehend nur die Betreiber. Diese Black Boxes soll der Digital Services Act öffnen. Nun hat die EU-Kommission Details für den Datenzugang für Forschende veröffentlicht.

#algorithmwatch #digitalservicesact #digitalservicescoordinator #dsa #dsa40dataaccesscollaboratory #dsc #forschungsdatenzugang #gff #jakobohme #joschkaselinger #olivermarsh #netzpolitik

Credits: Alle Rechte vorbehalten IMAGO / Ikon Images
AlgorithmWatch CHalgorithmwatch_ch
2025-06-10

Parce que la reste souvent invisible, nous avons élaboré un formulaire de signalement pour rendre visibles les cas de discrimination algorithmique.

Tu as été confronté·e·x à une ? Alors signale ton cas à : algorithmwatch.ch/fr/signaler-

AlgorithmWatch CHalgorithmwatch_ch
2025-06-10

Weil oft unsichtbar bleibt, haben wir ein Meldeformular erarbeitet, um Fälle algorithmischer Diskriminierung sichtbar zu machen.

Hast du erfahren? Dann melde deinen Fall an : algorithmwatch.ch/de/algorithm

Aleksandr Koltsoffnihkeys@mastodontti.fi
2025-05-23

Mielenkiintoinen raportti englanniksi AlgorithmWatchilta. Käsittelee (hankinta)ketjun pidennystä konemallien koulutukseen (kun tuntityöläiset arvioivat generaattoreiden tulosta hyväksi tai huonoksi nauruhintaan).

Tavallaan odotettua mutta kun tapahtuu pimeässä niin hyvä nähdä että joku osoittaa taskulamppua näihin välillä.

algorithmwatch.org/en/scams-an

#algorithmWatch #mechanicalTurk

2025-05-20

Weil #AlgorithmischeDiskriminierung oft so schwer zu erkennen ist, haben wir ein Meldeformular erarbeitet. Ihr vermutet, dass euch ein automatisiertes System diskriminiert haben könnte? Oder kennt eine Person, der das passiert ist? Dann meldet den Fall jetzt an #AlgorithmWatch! Wir schauen genauer hin und gehen jedem Fall nach: algorithmwatch.org/de/algorith

2025-05-19

Weil #AlgorithmischeDiskriminierung oft so schwer zu erkennen ist, haben wir ein Meldeformular erarbeitet. Ihr vermutet, dass euch ein automatisiertes System diskriminiert haben könnte? Oder kennt eine Person, der das passiert ist? Dann meldet den Fall jetzt an #AlgorithmWatch! Wir schauen genauer hin und gehen jedem Fall nach: algorithmwatch.org/de/algorith

2025-05-13

Ob du zu einem Vorstellungsgespräch eingeladen wirst, einen Kredit oder die neue Wohnung bekommst – immer öfter entscheiden Algorithmen mit. Doch sie sind nicht neutral.

Weil #AlgorithmischeDiskriminierung oft so schwer zu erkennen ist, haben wir ein Meldeformular erarbeitet. Ihr vermutet, dass euch ein automatisiertes System diskriminiert haben könnte? Dann meldet den Fall jetzt an #AlgorithmWatch! Wir schauen genauer hin und gehen jedem Fall nach:
algorithmwatch.org/de/algorith

The Internet is Cracktheinternetiscrack
2025-05-03

Ads, Algorithms, Addiction.
Dr. Ekdale breaks down how platforms monetize your attention.

🎙️ In this episode, he explores how personalization isn’t just convenient — it’s strategic, and it’s profitable.

🎧 👉 Full episode available wherever you get your podcasts.
youtu.be/35Nj0Y53Puo

Toshimarutoshimaru
2025-02-01

From ,
Why disinformation must not (and cannot) be ignored
by Naiara Bellio & Oliver Marsh

r.algorithmwatch.org/nl3/451WB

Matthias KrämerKraemer_HB
2025-01-21

Meine Umfrageergebnisse zeigen mir, wenig überraschend, dass ich hier eine ausgesprochen LLM-kritische Bubble habe. Ich fürchte, dass die Umfrage andernorts ganz anders ausginge.
Ein Aspekt, auf den mich die Umfrage und die Studie von gebracht haben: Welches Konfidenzniveau wäre akzeptabel für welchen Anwendungsfall von ? 95% ist ja ein häufig angewandtes Niveau. Aber beim Autofahren oder Flugzeugfliegen möchte ich nicht, dass sich eine KI zu 5% irrt.

Client Info

Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst