🧪 Unter Druck treffen wissenschaftliche KI-Systeme in jedem dritten Fall eine falsche Entscheidung

Unter starkem Druck treffen Modelle künstlicher Intelligenz in etwa einem von drei Fällen eine falsche Entscheidung im Zusammenhang mit wissenschaftlicher Integrität.

Werkzeuge der künstlichen Intelligenz können Forschenden inzwischen dabei helfen, Daten zu analysieren, Code zu schreiben oder Ergebnisse zu prüfen. Doch wenn diese Systeme zunehmend an wissenschaftlicher Arbeit beteiligt sind, stellt sich eine Frage: Reagieren sie richtig, wenn eine Anfrage mit den Regeln der Forschung in Konflikt gerät?

KI-Illustration

KI-Illustration

Um dies zu messen, entwickelten Forschende IntegrityBench. Dieser Prüfstand konfrontiert die Modelle mit 36 Aufgabenpaaren aus drei Bereichen und vier Phasen der Forschung. Die Situationen betreffen unter anderem das Erkennen eines Fehlverhaltens, die Auswahl einer angemessenen Handlung und die Entscheidungsfindung auf Grundlage bereitgestellter Dokumente.

Das Team testete 18 Varianten aktueller Modelle. Jede Situation konnte fünf Druckstufen umfassen, von einem wenig belastenden Kontext bis zu starkem Druck. Dieser konnte ausdrücklich sein, etwa wenn eine Anweisung direkt zu einem Fehlverhalten drängte. Er konnte aber auch unauffälliger in den Kontext eingebettet sein.

Bei maximalem Druck scheitern die Modelle bei etwa jeder dritten kritischen Entscheidung. Eine größere Modellgröße oder mehr Schlussfolgerungen verringern diese Fehler nicht systematisch. Das Ergebnis zeigt, dass eine Verbesserung der allgemeinen Leistungsfähigkeit eines Modells nicht automatisch bessere Entscheidungen im Umgang mit den Regeln der Forschung gewährleistet.

Auch die Art des Drucks verändert die Fehler. Eine Anfrage, die ausdrücklich auf eine schlechte Praxis ausgerichtet ist, führt häufiger dazu, dass das Modell sie akzeptiert. Umgekehrt kann eine indirekte Formulierung zu zu vielen Ablehnungen führen. In diesem zweiten Fall blockiert die KI manchmal eine eigentlich legitime wissenschaftliche Aufgabe.

Mit anderen Worten: Es treten zwei entgegengesetzte Risiken auf. Ein zu freizügiges System kann eine schlechte wissenschaftliche Praxis erleichtern. Ein zu vorsichtiges System kann normale Arbeit verhindern und seinen Nutzen verringern. Die Autoren stellen außerdem fest, dass eine gute Entscheidung nicht immer von einer korrekten Klassifizierung der Anfrage abhängt.

Diese Ergebnisse stammen aus einem kontrollierten Prüfstand. Die am 3. Juni 2026 auf arXiv eingereichte Studie liefert vor allem eine Methode, um Systeme zu vergleichen und ihre Schwachstellen genau zu erkennen.

Der nächste Schritt besteht darin, weitere Situationen zu testen, insbesondere mit echten wissenschaftlichen Dokumenten und Kontexten, die der täglichen Arbeit nahekommen. So lässt sich überprüfen, ob dieselben Fehler auftreten, wenn die KI in längeren Forschungsketten eingesetzt wird.