@HannahRuschemeier @RainerMuehlhoff Nachtrag: In meinem Artikel zu KI und Open Source auf heise.de habe ich Ihren 38C3-Vortrag mit dem Vorschlag der Zweckbindung für offene Daten und Modelle erwähnt (Seite 2, letzter Abschnitt): https://heise.de/-10444253

Wie KI die Open-Source-Entwicklung verändert

KI wirkt an vielen Stellen auf die Entwicklung von Open-Source-Software ein. Sie bietet Chancen, stellt die Community aber auch vor neue Herausforderungen.

https://www.heise.de/hintergrund/Wie-KI-die-Open-Source-Entwicklung-veraendert-10444253.html?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon

#ChaosCommunicationCongress #Eclipse #FOSDEM #IT #KünstlicheIntelligenz #OpenSource #news

Eclipse IDE 2025-06 verbessert das Schreiben und Debuggen von Java-Code

Das neue Quartals-Release der Open-Source-Entwicklungsumgebung Eclipse unterstützt Java 24 und bietet Verbesserungen beim Schreiben und Debuggen von Java-Code.

https://www.heise.de/news/Eclipse-IDE-2025-06-verbessert-das-Schreiben-und-Debuggen-von-Java-Code-10443131.html?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon

#Eclipse #Entwicklungsumgebung #IT #Programmierung #news

🌒🚀 Eclipse IDE 2025-06 has been released!
Watch the highlights of the Eclipse Java IDE 2025-06 in action (📽️7:27): https://youtu.be/IlPw3PWR0ZM

🙏 to all 🦸‍♀️🦸👩‍💻🦸‍♂️ who make this release happen!

Macht KI-Modelle Open Source, aber richtig!

Eine Open-Source-Lizenz genügt nicht: Hersteller von KI-Modellen sollen diese inklusive Code und Trainingsdaten Open Source stellen, fordert Holger Voormann.

https://www.heise.de/meinung/Macht-KI-Modelle-Open-Source-aber-richtig-10348646.html?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon

#IT #Kommentar #KünstlicheIntelligenz #OpenSource #news

🌒🚀 Eclipse IDE 2025-03 has been released!

Watch the highlights of the Eclipse Java IDE 2025-03 in action (📽️7:02): https://youtu.be/2p_9unQiSz4
And the Eclipse CDT 12.0 New and Noteworthy (📽️5:42): https://youtu.be/FvNHo9bDA7Q

🙏 to all 🦸‍♀️🦸👩‍💻🦸‍♂️ who make this release happen!

For details and links see https://github.com/howlger/Eclipse-IDE-improvements-videos/tree/2025-03

@sci_photos @jwildeboer Same for me.

Gleich auf dem #38c3: Unser Vortrag "Gemeinwohlorientierte Forschung mit KI: Missbrauch eindämmen durch Zweckbindung für KI-Modelle". @HannahRuschemeier

Hier um 12 Uhr live zu sehen: https://streaming.media.ccc.de/38c3/zigzag

Und hier dann irgendwann später das Recording: https://media.ccc.de/v/d05bfa58-e6b8-5c35-b271-191e1d09de6a

Details siehe https://purposelimitation.ai
und https://events.ccc.de/congress/2024/hub/en/event/gemeinwohlorientierte-forschung-mit-ki-missbrauch-eindmmen-durch-zweckbindung-fr-ki-modelle/

@HannahRuschemeier @RainerMuehlhoff Ich wünsche mir eine Zweckbindung für die Fotografin, die ihre Fotos für Grußkarten, etc. frei zur Verfügung stellt, ohne dass sie die AfD für Wahlwerbung verwenden darf. Aber wenn eine Zweckbindung rechtlich durchsetzbar ist, kann sie dann nicht auch zur Diskriminierung genutzt werden, z.B. Gesichtserkennung nur für Weiße? Wenn Regelverstöße bei Open Source leicht und bei OpenAI & Co nur schwer nachweisbar sind, würde das die Asymmetrie nicht noch verstärken?

@RainerMuehlhoff @HannahRuschemeier Schließen Open-Source-Lizenzen eine Zweckbindung nicht aus? Wie ist Zweckbindung mit der Hackerethik vereinbar: "All information should be free" (https://www.ccc.de/en/hackerethik)?

@RainerMuehlhoff @HannahRuschemeier Toller Vortrag! Gut gefallen hat mir die klare Problembeschreibung anhand eines realen Beispiels. Ich befürchte, dass eine Zweckbindung von OpenAI & Co ignoriert werden würde und für offene Daten/Modelle ein Mehraufwand entstehen würde. Da das Training anhand verwandter Aufgaben die Qualität für den primären Zweck verbessert, sehe ich zudem einen Trend zu Allzweck-Modellen (z.B. Microsoft Florence: https://huggingface.co/spaces/SkalskiP/better-florence-2).

Github hat einen Playground, auf dem man verschiedene Large Language Models ausprobieren und austesten kann.

https://github.com/marketplace/models/azureml-mistral/Mistral-Large-2411/playground

🌒🚀 Eclipse IDE 2024-12 has been released!

Watch the highlights of the Eclipse Java IDE 2024-12 in action (📽️9:06): https://youtu.be/J-oudd3UWmg

🙏 to all 🦸‍♀️🦸👩‍💻🦸‍♂️ who make this release happen!

For details and links see https://github.com/howlger/Eclipse-IDE-improvements-videos/tree/2024-12

The Eclipse Java IDE 2024-12 will bring a lot of improvements: built-in Java 23 support, support for Windows on ARM, new and enhanced clean-ups functions and Quick Fixes, performance improvements, etc. Have I overlooked something for my upcoming "Eclipse 2024-12 Java IDE Improvements" video? https://github.com/howlger/Eclipse-IDE-improvements-videos?tab=readme-ov-file#features-to-show

@Zeugs Let's assume a company uses an LLM to answer questions about their products. To do this, the company would define in the system prompt that only questions about their products are allowed. This would prevent it from being misused to do something else, such as writing SPAM emails tailored to the user or social media bot posts. Attackers who succeed in jailbreaking the LLM can use it for their own purposes while the company pays for the compute.

@Zeugs It depends on the application that someone builds on it. Tokenisation happens on the side that provides an LLM via OpenAI or similar API. Of course, one can never rely 100% on the output of an LLM, but it makes jailbreaking much easier. From this point of view, an LLM cannot have any vulnerabilities. So better call the fact that user messages may be processed also as messages of other roles an issue or a bug. Or what do you think?

This works with other models as well, e.g. with Llama 3.1 70B, which has a different prompt template with other special tokens:

The user's first request and the chatbot's last response are only shown for a short moment and then replaced by "This content may violate our usage policies." DuckDuckGo AI Chat (https://duckduckgo.com/aichat) shows all messages:

Let's call it cross-role prompting, similar to cross-site scripting (XSS): the tokenization of user messages also outputs special tokens such as <|im_start|> and <|im_end|>. This is something similar to cross-site scripting attacks, where the vulnerability is caused by inserting parameter values entered by the user into HTML without escaping special characters like quotes.

Is this a vulnerability that can be used for jailbreaking LLMs? #ChatGPT