LGR Reutlingen – 28 Mai 2026 | Eine Gruppe von Forschern hat erfolgreich die Sicherheitsvorkehrungen von Open-Source-KI-Modellen, darunter Googles Gemma 3 und Metas Llama 3.3, in kürzester Zeit umgangen. Mithilfe spezialisierter Werkzeuge gelang es ihnen, die Schutzmaßnahmen dieser Modelle zu entfernen, was ernsthafte Bedenken hinsichtlich der Sicherheit und Ethik im Bereich der Künstlichen Intelligenz aufwirft.
Die Studie, die von der AI-Sicherheitsgruppe Alice in Zusammenarbeit mit der Financial Times veröffentlicht wurde, zeigt, dass Open-Source-Modelle anfällig für Manipulationen sind. Ein zentrales Werkzeug in diesem Prozess war Heretic, ein Softwaretool, das verspricht, die Zensur von Modellen aufzuheben und deren Sicherheitsvorkehrungen zu beseitigen. Heretic ist auf GitHub verfügbar und der Entwickler gibt an, dass es mit mehr als 3.500 Modellen kompatibel ist.
Diese Entdeckung stellt die Annahme in Frage, dass Open-Source-Modelle sicherer sind als proprietäre Alternativen. Während große US-Technologiekonzerne, wie Meta und Google, sich zunehmend von Open-Source-Modellen abwenden – Meta hat kürzlich seine Pläne zur Veröffentlichung neuer Modelle eingestellt und Google hält Gemini unter Verschluss – setzen chinesische Unternehmen wie DeepSeek, Alibaba und Baidu verstärkt auf die Veröffentlichung offener Modelle. Die chinesische Regierung fördert aktiv die Offenheit dieser Technologien.
Die Herausforderungen der KI-Sicherheit
Die Hauptlaboratorien für KI-Forschung, OpenAI und Anthropic, haben ihre Modelle unter Verschluss gehalten, was sie von der FT-Studie ausschließt. Dennoch sind auch diese nicht gegen Manipulationen gefeit. Studien zeigen, dass technisch versierte Nutzer in der Lage sind, Systeme wie Claude und GPT dazu zu bringen, unerlaubte Anfragen zu beantworten. OpenAI sieht sich zudem rechtlichen Herausforderungen gegenüber, da ein kürzlich eingereichter Prozess die angeblich nachlässigen Sicherheitsvorkehrungen im Umgang mit Selbstverletzungen behandelt, die in einem tragischen Fall zum Suizid eines Jugendlichen führten.
Die zunehmende Komplexität und die Fähigkeiten dieser KI-Modelle haben dazu geführt, dass sogar politische Entscheidungsträger, wie die Trump-Administration, über eine Vorabprüfung von KI-Modellen nachdenken, bevor sie in Umlauf gebracht werden. Berichten zufolge hat das Weiße Haus und andere Institutionen von den Cyberfähigkeiten von Anthropics Mythos überrascht. So soll die National Security Agency das Modell genutzt haben, um eigene Umgebungen auf potenzielle Schwachstellen zu scannen, was gegen ein internes Verbot der Nutzung von Anthropic-Tools verstößt.
Regulierungen und der Einfluss auf die Industrie
Die europäische Finanzbranche hat ein starkes Interesse daran, Zugang zu Mythos zu erhalten, um Sicherheitslücken zu schließen, bevor böswillige Akteure dies tun können. Die bevorstehende Einführung des European AI Act könnte den Launch-Zyklus dieser KI-Modelle ebenfalls verlangsamen. Dieser Gesetzesentwurf legt den Fokus auf risikobasierte Systeme und Transparenz für Unternehmen, die in Europa tätig sind, und verlangt von Anbietern grundlegender Modelle eine erhöhte Transparenz bezüglich der Entwicklung und Implementierung von Sicherheitsvorkehrungen.
Trotz der Risiken scheinen Nutzer zunehmend Vertrauen in diese Chatbots zu setzen und stellen ihnen komplexe und persönliche Anfragen, die finanzielle und medizinische Themen betreffen. Dies geschieht, obwohl mehrere Studien belegen, dass KI-Modelle häufig falsche Informationen liefern. Eine Untersuchung des BMJ Open Audit ergab, dass fast 50 Prozent aller Antworten problematisch waren. Es ist wichtig zu beachten, dass diese KI-Modelle ihre Daten aus dem Internet beziehen, welches nicht gerade für seine Genauigkeit bekannt ist.
Zuletzt geriet Google unter Beschuss, nachdem eine BBC-Untersuchung aufdeckte, dass irreführende Inhalte veröffentlicht wurden, um die KI-Übersicht zu manipulieren, indem sie so strukturiert wurden, dass sie über konkurrierenden Seiten rangierten.
