tomedo KI Fehlerquoten und Validierung: Wie Ärzte KI-Texte prüfen und rechtssicher freigeben

KI nimmt Ärztinnen und Ärzten Dokumentationsarbeit ab, und das spürbar. Spracherkennung tippt die Anamnese mit, ein Sprechstundenassistent schreibt Befunde direkt in die Kartei, aus Stichworten wird ein fertiger Arztbrief. Die unangenehme Kehrseite steht selten im Produktvideo: Für alles, was am Ende in der Patientenakte steht, haftet der Arzt, nicht die Software. Dieser Beitrag zeigt, wie zuverlässig KI-Dokumentation wirklich ist, wo die typischen Fehler sitzen und wie Sie einen Validierungsprozess aufsetzen, der rechtlich trägt.

Haften Ärzte für KI-generierte Dokumentation?

Ja. Die rechtliche Verantwortung für die Patientenakte bleibt nach §630f BGB vollständig beim behandelnden Arzt, egal ob ein Mensch oder eine KI den Text erzeugt hat. Ein KI-Entwurf wird erst mit der ärztlichen Freigabe zur Dokumentation. Wer einen fehlerhaften KI-Text ungeprüft übernimmt, macht ihn damit zu seinem eigenen Fehler.

Das ist die zentrale Verschiebung, die viele unterschätzen. Die KI tippt schneller, aber sie übernimmt keine Verantwortung. Juristisch ist ein von tomedo erzeugter Befund zunächst nichts weiter als ein Vorschlag, vergleichbar mit einem Entwurf, den eine Mitarbeiterin vorbereitet hat. Erst wenn der Arzt ihn liest, inhaltlich prüft und freigibt, entsteht daraus die Dokumentation, für die er einsteht. Diese Freigabe ist kein Formalakt, sondern der eigentliche ärztliche Beitrag.

Daraus folgt eine klare Regel: Je mehr die KI vorarbeitet, desto wichtiger wird die Prüfung, nicht unwichtiger. Zeitersparnis bei der Erfassung darf nicht zu Nachlässigkeit bei der Kontrolle führen. Genau an dieser Stelle entscheidet sich, ob KI in der Praxis ein Gewinn oder ein Haftungsrisiko ist.

Wie zuverlässig ist KI-Dokumentation wirklich?

KI-Spracherkennung und Ambient-Dokumentation sind leistungsfähig, aber nicht fehlerfrei. Moderne Systeme transkribieren nicht nur, sie erzeugen Text. Dabei können sie Inhalte glätten, umformulieren oder im Zweifel etwas erfinden, das plausibel klingt, aber nie gesagt wurde. Diese sogenannten Halluzinationen sind das eigentliche Qualitätsrisiko, weil sie sich flüssig und überzeugend lesen.

Wie groß das Problem sein kann, zeigen unabhängige Untersuchungen des weit verbreiteten Transkriptionsmodells Whisper, das in zahlreichen Medizin- und Diktierlösungen steckt. Eine peer-reviewte Studie (Koenecke et al., 2024) fand bei rund einem Prozent der untersuchten Audio-Transkriptionen komplett erfundene Passagen, und bei etwa 38 Prozent dieser Fälle enthielten die erfundenen Inhalte konkrete Schäden, von falschen medizinischen Angaben bis zu erfundenen Medikamenten. Ein Forscher der University of Michigan berichtete sogar, in etwa 80 Prozent der von ihm geprüften Mitschnitte Halluzinationen gefunden zu haben.

Quelle: Healthcare Brew: OpenAIs Transkriptionstool Whisper erfindet Wörter (Bericht zur Studie Koenecke et al., 2024)Die Zahlen stammen aus unabhängigen Untersuchungen des Whisper-Modells, nicht speziell aus tomedo. Sie illustrieren das grundsätzliche Risiko von KI-Transkription in der Medizin.

Diese Zahlen sind keine Aussage über ein bestimmtes Produkt, sondern über die Technologie dahinter. Sie machen aber unmissverständlich klar: Eine KI-Transkription ohne menschliche Kontrolle ist in der Medizin keine Option. Die entscheidende Frage ist nicht, ob die KI Fehler macht, sondern ob Ihr Praxisablauf diese Fehler zuverlässig abfängt, bevor sie in der Akte landen.

Was tomedo an KI mitbringt

tomedo (Hersteller zollsoft) bündelt mehrere KI-Funktionen, die direkt in der Patientendokumentation ansetzen. Dazu gehören die medizinische Spracherkennung zum Diktieren von Anamnesen und Befunden sowie tomedo.Intelligence mit einem KI-Sprechstundenassistenten, der Gespräche mitdokumentiert, und einem Karteichat für die Suche in der Akte. Hinzu kommen Abrechnungsvorschläge für GOÄ- und EBM-Ziffern.

Jede dieser Funktionen erzeugt oder verändert Inhalte, die später behandlungs- oder abrechnungsrelevant sind. Der Sprechstundenassistent schreibt Befunde und Anamnesen während des Gesprächs in die Kartei. Die Abrechnungsvorschläge greifen in die GOÄ- und EBM-Kodierung ein. Das ist der Komfort, für den man solche Systeme einsetzt, und genau deshalb braucht jede dieser Ausgaben eine ärztliche oder fachliche Kontrolle, bevor sie verbindlich wird.

Wichtig für die rechtliche Einordnung: Der Hersteller stellt das Werkzeug bereit, die Hoheit über den Inhalt liegt bei der Praxis. tomedo liefert den Entwurf, die Prüfung und Freigabe sind Ihre Aufgabe. Diese Rollenverteilung ist kein Kleingedrucktes, sondern der Kern der Haftungsfrage.

Quelle: zollsoft: KI in der Arztsoftware tomedo (Funktionsüberblick)Funktionsbeschreibung des Herstellers. Konkreter Funktionsumfang und Bezeichnungen können sich mit neuen Versionen ändern.

Der rechtliche Rahmen: §630f BGB und EU AI Act

Zwei Regelwerke bestimmen, wie Sie mit KI-Dokumentation umgehen müssen: das Behandlungsvertragsrecht im BGB und die europäische KI-Verordnung. Das BGB regelt, wer für den Inhalt der Akte einsteht, und das ist eindeutig der Arzt. Der EU AI Act ergänzt Pflichten zu menschlicher Aufsicht und Kompetenz. Beide verlangen im Kern dasselbe: kein KI-Text ohne menschliche Kontrolle.

§630f BGB verpflichtet den Behandler, wesentliche Maßnahmen und Ergebnisse in unmittelbarem zeitlichem Zusammenhang und vollständig zu dokumentieren. Noch schärfer wird es durch §630h Abs. 3 BGB: Ist eine medizinisch gebotene wesentliche Maßnahme nicht dokumentiert, wird im Haftungsprozess vermutet, dass sie nicht erfolgt ist. Diese Beweislastumkehr ist der Grund, warum eine KI, die etwas auslässt oder falsch protokolliert, die Position des Arztes im Ernstfall aktiv verschlechtern kann.

Quelle: §630f BGB: Dokumentation der Behandlung (Gesetze im Internet)

Quelle: §630h BGB: Beweislast bei Haftung für Behandlungs- und Aufklärungsfehler (Gesetze im Internet)

Der EU AI Act (Verordnung (EU) 2024/1689) kommt aus einer anderen Richtung, zielt aber in dieselbe Lücke. Er verlangt bei risikoreicher KI unter anderem wirksame menschliche Aufsicht und ausreichende KI-Kompetenz der Anwender. Die Pflicht zur KI-Kompetenz nach Artikel 4, also dass Mitarbeitende die Funktionsweise und Grenzen der eingesetzten KI verstehen, gilt bereits seit dem 2. Februar 2025. Die vollen Pflichten für Hochrisiko-Systeme greifen gestaffelt und wurden zuletzt zeitlich nach hinten verschoben. Ob eine reine Dokumentations-KI als Hochrisiko-System einzustufen ist, hängt vom Einzelfall ab und ist teils noch im Fluss.

Quelle: Verordnung (EU) 2024/1689 (KI-Verordnung, EU AI Act), EUR-LexInsbesondere die Vorgaben zu menschlicher Aufsicht und zur KI-Kompetenz der Anwender (Artikel 4, in Kraft seit 2. Februar 2025).

So validieren Ärzte KI-Texte rechtssicher

Ein belastbarer Validierungsprozess ist kein bürokratisches Extra, sondern der Vorgang, der aus einem KI-Entwurf eine haftbare Dokumentation macht. Er muss zwei Dinge leisten: inhaltliche Fehler zuverlässig abfangen und nachweisbar machen, dass eine ärztliche Freigabe stattgefunden hat. Die folgenden Schritte lassen sich in fast jeden Praxisablauf einbauen.

1. 1
   KI-Ausgabe als Entwurf behandeln
   Legen Sie organisatorisch fest, dass jede KI-Ausgabe, ob Spracherkennung, Sprechstundenassistent oder Abrechnungsvorschlag, zunächst ein Entwurf ist und nie automatisch als final gilt. Keine stille Übernahme behandlungsrelevanter Inhalte ohne Prüfung.
2. 2
   Gegen das Gespräch gegenlesen
   Lesen Sie den Text vollständig gegen Ihre Erinnerung an das Gespräch und gegen vorhandene Befunde. Achten Sie gezielt auf die bekannten Schwachstellen: Zahlen, Dosierungen, Laborwerte, Eigennamen, Seitenangaben (links/rechts) und Verneinungen wie kein, ohne oder nicht.
3. 3
   Kritische Angaben aktiv korrigieren
   Korrigieren Sie Fehler direkt im Entwurf, statt sie zu kommentieren. Besonders Medikation, Allergien, Diagnosen und Dosierungen müssen stimmen. Eine erfundene oder vertauschte Angabe hier ist kein Schönheitsfehler, sondern ein potenzieller Behandlungsfehler.
4. 4
   Bewusst freigeben
   Übernehmen Sie den geprüften Text erst mit einem bewussten Schritt in die Akte. Diese Freigabe ist der Moment, in dem Sie die Verantwortung übernehmen. Sie sollte nicht beiläufig per Durchklicken passieren, sondern eine aktive Entscheidung sein.
5. 5
   Freigabe nachvollziehbar machen
   Sorgen Sie dafür, dass aus der Akte und den Protokollen hervorgeht, wer wann freigegeben hat. Persönliche Logins statt Sammelzugang sind die Grundvoraussetzung, damit eine Freigabe überhaupt einer Person zugeordnet werden kann.
6. 6
   Fehler zurückmelden
   Melden Sie wiederkehrende KI-Fehler intern und an den Hersteller. So verbessern sich Konfiguration und Modell, und Sie dokumentieren zugleich, dass die Praxis die KI aktiv überwacht, ein Baustein der geforderten menschlichen Aufsicht.

Der wichtigste Satz dabei: Prüfen heißt lesen, nicht überfliegen. Gut formulierter KI-Text verführt dazu, ihn für richtig zu halten, weil er flüssig klingt. Gerade die gefährlichsten Fehler, die erfundene Dosierung oder die überlesene Verneinung, verstecken sich in sauber geschriebenen Sätzen.

Typische Fehlermuster, auf die Sie achten müssen

Die Fehler der KI-Dokumentation folgen Mustern, und wer sie kennt, prüft schneller und sicherer. Nicht jeder Satz ist gleich riskant. Die Kontrolle sollte sich auf die Stellen konzentrieren, an denen ein Fehler teuer wird: dort, wo Zahlen, Verneinungen, Eigennamen und Medikation stehen.

Die folgende Gegenüberstellung zeigt den Unterschied zwischen einem Ablauf mit festem Validierungsprozess und der ungeprüften Übernahme, die im Alltag aus Zeitdruck entsteht.

Die häufigsten Fehlerquellen in der Praxis sind erfahrungsgemäß diese: vertauschte oder erfundene Zahlen (Dosierungen, Laborwerte, Blutdruck), überhörte Verneinungen, bei denen aus kein Fieber ein Fieber wird, falsch zugeordnete Eigennamen und Medikamente, geglättete Formulierungen, die eine Unsicherheit im Gespräch zu einer scheinbaren Gewissheit machen, sowie frei erfundene Passagen bei undeutlichen oder leisen Abschnitten. Wer diese fünf Kategorien im Kopf hat, prüft gezielt statt wahllos.

Validierung dokumentieren: der Nachweis zählt

Ein Validierungsprozess schützt nur dann, wenn er im Streitfall auch belegbar ist. Es genügt nicht, dass geprüft wurde, es muss nachvollziehbar sein, dass und von wem geprüft wurde. Deshalb gehören persönliche Benutzerkonten, aktivierte Zugriffsprotokolle und eine klare interne Regelung zusammen mit der eigentlichen Prüfung.

Zwei organisatorische Punkte entscheiden über die Beweiskraft. Erstens die persönlichen Logins: Nur wenn jeder mit eigenem Account arbeitet, lässt sich eine Freigabe überhaupt einer Person zuordnen. Ein geteilter Sammelzugang macht jeden Nachweis wertlos. Zweitens eine knappe schriftliche Regelung, die festhält, welche KI-Funktionen in der Praxis genutzt werden, dass jede Ausgabe vor der Freigabe zu prüfen ist und wer dafür zuständig ist. Das ist zugleich ein Baustein der KI-Kompetenz und menschlichen Aufsicht, die der EU AI Act verlangt.

Wird ein KI-gestützter Arztbrief über KIM versendet, kommt die Signatur- und Versandverantwortung hinzu. Auch hier gilt: Freigegeben wird der geprüfte Inhalt, nicht der Rohentwurf. Wie der sichere Versand funktioniert, zeigt der Beitrag zum elektronischen Arztbrief (eArztbrief).

Wie ITCC Ihre Praxis dabei unterstützt

ITCC ist Ihre externe IT-Abteilung für medizinische Einrichtungen in Pfalz/Rhein-Neckar und Rhein-Main. Wir sind kein medizinischer Anbieter, kein Datenschutzberater und kein Hersteller von Praxissoftware, und wir treffen keine medizinischen Entscheidungen. Was wir übernehmen, ist der technische und organisatorische Rahmen, der eine rechtssichere KI-Nutzung erst möglich macht.

Konkret heißt das: Wir richten die KI-Funktionen in tomedo sauber ein, sorgen für persönliche Logins statt Sammelzugänge, aktivieren die Zugriffsprotokollierung und helfen Ihnen, einen schlanken, dokumentierten Freigabeprozess zu verankern. Dazu gehört auch, das Team in der Funktionsweise und in den Grenzen der eingesetzten KI zu schulen, ein Punkt, den der EU AI Act ausdrücklich verlangt. Die inhaltliche Prüfung und Freigabe der Befunde bleibt dabei immer bei Ihnen als behandelndem Arzt.

Wenn Sie wissen wollen, ob Ihre KI-Dokumentation heute schon prüffest aufgestellt ist, ob es Sammel-Logins gibt, ob Freigaben nachvollziehbar sind und ob die Protokollierung greift, sehen wir uns das mit Ihnen an. Schreiben Sie an info@itcc.de oder rufen Sie an. Sie bekommen eine ehrliche Einschätzung und eine klare Liste, was zu tun ist.