• Bei sensiblen Entscheidungen muss laut KI-Verordnung immer ein Mensch die endgültige Prüfung übernehmen und der KI-Einsatz muss offengelegt werden.
  • Der DRV Bund nutzt bei Reha-Anträgen nur IT-Unterstützung, während KI vor allem bei Betriebsprüfungen Muster erkennt – Entscheidungen treffen jedoch stets Menschen.
  • Betroffene können eine menschliche Bewertung verlangen und dies notfalls einklagen.

Medizinische Gutachten und Anträge sollten nicht nur von Menschen begutachtet werden, sie müssen es sogar. Zumindest mit einem finalen, prüfenden Blick. So stehe es in der KI-Verordnung, die den Einsatz von Künstlicher Intelligenz im öffentlichen Sektor regelt, erklärt Dirk Heckmann. Er ist Professor für Recht und Sicherheit der Digitalisierung an der TU München. Auf Englisch heiße diese Regelung 'Human in the Loop' und bedeute: "Dass der Mensch an irgendeiner Stelle dabei sein muss, besonders dann, wenn es um die eigentliche Entscheidung geht."

Besonders wichtig sei das bei grundrechtssensiblen Entscheidungen, die belastende Verwaltungsakte für den Bürger bedeuten. "Da reden wir von sogenannter Hochrisiko-KI und die ist besonders streng reguliert", sagt Heckmann. Auch Transparenzpflichten seien in der Verordnung festgelegt, erklärt er. Das heißt: Wenn KI eingesetzt wurde, muss das gekennzeichnet werden.

Keine KI bei Reha-Anträgen im Einsatz

Und wie wird das bei der Deutschen Rentenversicherung Bund (DRV) gehandhabt? Eine Sprecherin schreibt MDR AKTUELL, dass Reha-Anträge dort automatisch ausgelesen und die Inhalte zusammengefasst werden. Allerdings handele es sich dabei nicht um ein KI-System, heißt es weiter: "Sondern um eine IT-Unterstützung der Sachbearbeitung. Indem sich Mitarbeitende nicht mehr alle entscheidungserheblichen Informationen selbst aus den Formularen heraussuchen müssen, lassen sich Bearbeitungszeiten verringern. Entscheidungen über die Bewilligung oder Ablehnung von Reha-Anträgen erfolgen aber immer durch die Mitarbeitenden."

Künstliche Intelligenz kommt bei der DRV Bund zwar auch zum Einsatz, aber in einem anderen Bereich: bei Betriebsprüfungen. Die Sprecherin führt aus: "Die KI scannt alle digital vorhandenen Daten der zu prüfenden Unternehmen, sucht nach Mustern und identifiziert Auffälligkeiten, wie ungewöhnlich hohe oder niedrige Beiträge, auffällige Lohnarten, unstimmige Beitragsgruppen oder fehlende Nachweise."

Alles Dinge, auf die auch die menschlichen Prüferinnen und Prüfer achten würden. Die könnten durch die KI-Analyse ihre Arbeit priorisieren – müssten sie aber nicht nutzen, heißt es weiter. Bei der DRV Bund würden derzeit zahlreiche KI-Anwendungen entwickelt. Auch für die Erstellung von Rentenbescheiden. Aber in all diesen Fällen gelte: Die Entscheidungen treffe am Ende immer ein Mensch.

Einklagen möglich

Wer trotzdem das Gefühl hat, dass eine Entscheidung rein maschinell getroffen wurde, könne sich auch wehren, sagt Digitalisierungsrechtsexperte Heckmann. Auch das garantiert die KI-Verordnung und die Datenschutzgrundverordnung. "Man kann sich an die Behörde wenden und verlangen, dass sich ein Mensch nochmal dazu äußert", sagt Heckmann. So könne die Situation überprüft werden. Und wenn das nicht zum Erfolg führt, kann man die Information auch einklagen.

Haftungsausschluss: Das Urheberrecht dieses Artikels liegt bei seinem ursprünglichen Autor. Der Zweck dieses Artikels besteht in der erneuten Veröffentlichung zu ausschließlich Informationszwecken und stellt keine Anlageberatung dar. Sollten dennoch Verstöße vorliegen, nehmen Sie bitte umgehend Kontakt mit uns auf. Korrektur Oder wir werden Maßnahmen zur Löschung ergreifen. Danke