Automatisierung von Dokumentationsaufgaben in der Pflege – Verbesserung eines KI-Modells zur Bestimmung inhaltlicher Übereinstimmung von Texten

Einbindung von KI in der Pflege

In der Pflege nimmt die Dokumentation von durchgeführten Arbeitsschritten einen nicht zu unterschätzenden Anteil der Arbeitszeit ein. So wünschen sich über 85% der Pflegekräfte in einer “Pflege-Thermometer“ Umfrage aus 2018 die Nutzung von Technologie für Dokumentationstätigkeiten, womit der Wunsch nach Entbürokratisierung und ein erleichterter Umgang mit derartigen Verpflichtungen einhergeht. Die Dokumentation von zuvor vereinbarten Zielen und damit damit verbundenen schriftlichen Quälereien betreffen auch viele andere Bereiche und sind Teil einer stetig komplexer werdenden Arbeitswelt. Letztendlich handelt es sich um die Abarbeitung von “Checklisten”, für die kurze Titel oder Beschreibungen je Arbeitsmaßnahme vorliegen.

 

Mittels eines sprachgesteuerten Systems, so die Idee der Sense.AI.tion GmbH in Zusammenarbeit mit der TH Wildau, werden ausgeführte Arbeitsschritte einfach ausgesprochen und aufgezeichnet. Dies kann sowohl im Moment der Durchführung als auch etwas später geschehen. In der Pflege können so Gespräche zwischen Pflegekraft und Pflegebedürftigen für diesen Zweck automatisch ausgewertet werden. Häufig werden Pflegemaßnahmen gegenüber der zu pflegenden Person sowieso im Gespräch nebenbei ausgesprochen. Dieser Ansatz lässt sich gleichermaßen auf andere Anwendungsfälle, beispielsweise eine Autowerkstatt, anwenden: Die TÜV-Prüfung oder Reparaturmaßnahme wird ins Sprachsystem eingesprochen, dass einen Abgleich mit der vordefinierten Checkliste vornimmt und diese automatisch ausfüllt.

Unterstützung durch KI-Werkzeuge

 

Auf technischer Ebene lässt sich dabei der Ansatz Semantic Textual Similiarity (STS) bzw. Semantische Textnähe nutzen, welcher angibt, wie ähnlich sich zwei Sätze bzw. Texte inhaltlich sind. Mit Aufkommen der aktuellen KI-Welle entwickelten sich in den letzten Jahren vielversprechende Ansätze, um dieses Problematik unter Nutzung von Machine Learning, respektive Deep Learning, effizient anzugehen. Die Einführung von “Transformer”, zu nennen sind hierbei vor allem BERT, XLM, und T5, ermöglichen es, Zusammenhänge von Worten (Ähnlichkeit, Analogie, Thematik) durch neuronale Sprachmodelle im Kontext darzustellen und hinsichtlich der relativen Relevanz zu bemessen. Ein solches Modell kann anschließend anhand von Trainingsdaten hinsichtlich eines Lernziels optimiert werden.

Bei einem STS-Transformer-Modell, werden Sätze in mathematische Vektoren umgewandelt und können u.a. mit dem Maß der Kosinus-Ähnlichkeit (engl. “cosine similarity”) auf semantische/inhaltliche Übereinstimmung verglichen werden. Im Falle der Checkliste werden dazu Titel/Beschreibung der einzelnen Aufgabe mit den Sätzen verglichen, die durch einen Nutzer in das System schriftlich oder mündlich eingegeben werden.

 

Neben einigen multilingualen Modellen existieren auch wenige deutschsprachige Modelle für die Berechnung der semantischen Nähe von Texten. Mit hunderttausenden Downloads ist hierbei vor allem ein Modell von Philipp May (https://huggingface.co/T-Systems-onsite/cross-en-de-roberta-sentence-transformer) – von nun an “TSystems-Modell” genannt – hervorzuheben. Dieses basiert auf einem speziellen STS-Datenset, welches mit Hilfe einer maschinellen Übersetzung für die deutsche Sprache nutzbar gemacht wurde. Die Popularität dieses Modells erklärt sich außerdem durch den cross-lingualen Ansatz zwischen Deutsch und Englisch, bei dem die semantische Nähe nicht nur zwischen zwei deutschen Sätzen, sondern auch zwischen englischen und deutsch-englischen-Kombinationen möglich ist.

Die Kombination aus cross-lingualer Verwendbarkeit von Deutsch und Englisch sowie der stetig guten Performance im internen Prototyping bei der Sense.AI.tion GmBH und TH Wildau führte zur Idee, eine Bestandsaufnahme des Ansatzes von Philipp May zu machen und an die aktuellen Gegebenheiten anzupassen. Grob lassen sich zwei Verbesserungspotentiale identifizieren:

1. Es existieren neuere Basis-Modelle aus 2022, die für das Training genutzt werden können
2. Die Menge an Trainingsbeispielen lässt sich durch weitere maschinelle Übersetzungen anderer Datensets vergrößern. Die Kombination beider Maßnahmen, so die Idee, führt zu einer robusteren und qualitativ besseren Performance.

Ausblick auf weitere Forschung und Entwicklung

Ein häufiges Phänomen ist die inkorrekte Zuordnung bei Sätzen, die keine besondere Komplexität haben und für Menschen mit einem Blick korrekt einzuordnen sind. Aktuell schafft es daher noch kein einziges Modell eine vollständige, korrekte Bewertung vorzunehmen. Der Hauptgrund für dieses Phänomen liegt im Aufbau von STS Datensätzen. Die Nutzung wird in der aktuellen Forschung verstärkt kritisiert, da sie als nicht (mehr) ausreichend für das Training von semantische Nähe zwischen Sätzen eingeschätzt wird. Die Trainingssätze sind relativ simpel und decken viele Themenbereiche nur unzureichend ab. Dies wirkt sich vor allem auf Fachrichtungen (z.B. Pflege, Biologie, Medizin, usw.) negativ aus. Die in der Tabelle als “paraphrase“ titulierten Modelle wurden mittels eines ähnlichen Ansatzes trainiert und sollen in Theorie bessere Ergebnisse liefern. Sowohl die veröffentlichte Tabelle als auch interne Tests haben dies bisher nicht bestätigt.

Die vorgestellte Herangehensweise verstärkt ein weiteres Problem von STS-Modellen: Die Checklisten-Einträge sind sehr kurz, wohingegen die Trainingsbeispiele vollständige Sätze umfassen. Gleichermaßen würde dieses Problem auch bestehen, wenn die Checklisten-Einträge sehr lang wären. Das Trainingsspektrum ist nicht breit genug gefasst, um diese Asymmetrie adäquat abzudecken.

Zu schlechter … guter Letzt stellt sich bei der Bewertung von semantischer Nähe auch die Frage, was genau im Fokus zweier Aussagen bzw. Sätze steht: Angenommen laut der Checkliste soll erkannt werden, ob ein Fenster geöffnet/geschlossen wird. In der Checkliste wird dazu das Label “Fenster öffnen/schließen” und der Beispielsatz “Das Fenster in der Küche öffnen” angelegt. Natürlich gibt es in der Liste noch weitere Einträge, beispielsweise “Badezimmer reinigen” mit dem Satz “Das Badezimmer wurde gereinigt”. Gilt es nun den Satz “Ich habe das Fenster im Bad geöffnet” korrekt einzuordnen, so scheint klar, dass es sich hierbei um das Label “Fenster öffnen/schließen” handelt. Nach vielen prototypischen Aufbauten mussten wir jedoch feststellen: STS-Modelle “denken anders” bzw. folgen sehr groben Konzepten. Konkret könnte dem Modell die Verbindung zwischen Bad und Badezimmer wichtiger vorkommen als der Prozess des Fenster öffnens. Diese Problematik variiert von Modell zu Modell und wird für manche Themenbereiche gut aufgelöst und für andere überhaupt nicht.

Diese Einschränkungen lassen sich durch eine enge Zusammenarbeit zwischen Pflegeeinrichtungen bzw. dem Gesundheitswesen und Software-Anbietern ausräumen. Es gilt realistische und spezifische Äußerungen anhand echter Szenarien in die Trainingsdaten aufzunehmen. STS-Modelle lassen sich dennoch prinzipiell in verschiedenen Szenarien einsetzen und bieten eine solide Basis für semantische Näheberechnung. Inwiefern Augmentation, Cross-Encoder und die Klassifizierung nach der SetFit-Methode zu einer weiteren Verbesserung der Robustheit solcher Modelle führen schauen wir uns in einem weiteren Blogbeitrag an.