Software-Entwicklung Archive - Sense.AI.tion GmbH https://senseaition.com/tag/software-entwicklung/ Machen Sie Ihr Unternehmen fit für die… “Kommunikation mit Zukunft” Tue, 10 Jan 2023 14:30:05 +0000 de hourly 1 https://wordpress.org/?v=6.9.4 https://senseaition.senseaition.rocks/wp-content/uploads/2020/02/WEB_AI_App_Logo_reduziert_200px_trans.png Software-Entwicklung Archive - Sense.AI.tion GmbH https://senseaition.com/tag/software-entwicklung/ 32 32 Automatisierung von Dokumentationsaufgaben in der Pflege https://senseaition.com/2023/01/06/automatisierung-von-dokumentationsaufgaben-in-der-pflege/ Fri, 06 Jan 2023 13:23:20 +0000 https://senseaition.com/?p=2317 Die Dokumentation in der Pflege nimmt zu viel Zeit. Durch automatische, sprachgesteuerte KI-Systeme werden Pflegekräfte von Dokumentationsdruck und Bürokratie entlastet.

Der Beitrag Automatisierung von Dokumentationsaufgaben in der Pflege erschien zuerst auf Sense.AI.tion GmbH.

]]>

Automatisierung von Dokumentationsaufgaben in der Pflege – Verbesserung eines KI-Modells zur Bestimmung inhaltlicher Übereinstimmung von Texten

Im Rahmen der Erstellung eines KI-Systems zur Dokumentation von Arbeitstätigkeiten im Pflegesektor wurde ein allgemeines STS (Semantic Textual Similarity), zu deutsch Semantische Textnähe, Modell entwickelt. Basierend auf einem existierenden Ansatz für Textvergleiche in den Sprachen Deutsch und Englisch, werden Verbesserungsmöglichkeiten identifiziert und letztendlich in einem Modell-Training realisiert. Es ergibt sich eine Performance-Steigerung von 1 bis 5 Prozentpunkten. Insbesondere die Einbindung mehrerer Datensets erlaubt eine robustere Näheberechnung zwischen Sätzen bzw. Texten. Eine generelle Einschränkung mit STS muss die Forschung alsbald angehen … Beitrag von Philipp Müller

Einbindung von KI in der Pflege

In der Pflege nimmt die Dokumentation von durchgeführten Arbeitsschritten einen nicht zu unterschätzenden Anteil der Arbeitszeit ein. So wünschen sich über 85% der Pflegekräfte in einer „Pflege-Thermometer“ Umfrage aus 2018 die Nutzung von Technologie für Dokumentationstätigkeiten, womit der Wunsch nach Entbürokratisierung und ein erleichterter Umgang mit derartigen Verpflichtungen einhergeht. Die Dokumentation von zuvor vereinbarten Zielen und damit damit verbundenen schriftlichen Quälereien betreffen auch viele andere Bereiche und sind Teil einer stetig komplexer werdenden Arbeitswelt. Letztendlich handelt es sich um die Abarbeitung von „Checklisten“, für die kurze Titel oder Beschreibungen je Arbeitsmaßnahme vorliegen.

Abbildung: Beispielhafte Checkliste für eine Pflegekraft im ambulanten Dienst

 

Mittels eines sprachgesteuerten Systems, so die Idee der Sense.AI.tion GmbH in Zusammenarbeit mit der TH Wildau, werden ausgeführte Arbeitsschritte einfach ausgesprochen und aufgezeichnet. Dies kann sowohl im Moment der Durchführung als auch etwas später geschehen. In der Pflege können so Gespräche zwischen Pflegekraft und Pflegebedürftigen für diesen Zweck automatisch ausgewertet werden. Häufig werden Pflegemaßnahmen gegenüber der zu pflegenden Person sowieso im Gespräch nebenbei ausgesprochen. Dieser Ansatz lässt sich gleichermaßen auf andere Anwendungsfälle, beispielsweise eine Autowerkstatt, anwenden: Die TÜV-Prüfung oder Reparaturmaßnahme wird ins Sprachsystem eingesprochen, dass einen Abgleich mit der vordefinierten Checkliste vornimmt und diese automatisch ausfüllt.

Unterstützung durch KI-Werkzeuge

Eine KI-Maschine der sense.AI.tion im Steampunk Style, generiert mit Stable Diffusion 2.1

 

Auf technischer Ebene lässt sich dabei der Ansatz Semantic Textual Similiarity (STS) bzw. Semantische Textnähe nutzen, welcher angibt, wie ähnlich sich zwei Sätze bzw. Texte inhaltlich sind. Mit Aufkommen der aktuellen KI-Welle entwickelten sich in den letzten Jahren vielversprechende Ansätze, um dieses Problematik unter Nutzung von Machine Learning, respektive Deep Learning, effizient anzugehen. Die Einführung von „Transformer“, zu nennen sind hierbei vor allem BERT, XLM, und T5, ermöglichen es, Zusammenhänge von Worten (Ähnlichkeit, Analogie, Thematik) durch neuronale Sprachmodelle im Kontext darzustellen und hinsichtlich der relativen Relevanz zu bemessen. Ein solches Modell kann anschließend anhand von Trainingsdaten hinsichtlich eines Lernziels optimiert werden.

Bei einem STS-Transformer-Modell, werden Sätze in mathematische Vektoren umgewandelt und können u.a. mit dem Maß der Kosinus-Ähnlichkeit (engl. „cosine similarity“) auf semantische/inhaltliche Übereinstimmung verglichen werden. Im Falle der Checkliste werden dazu Titel/Beschreibung der einzelnen Aufgabe mit den Sätzen verglichen, die durch einen Nutzer in das System schriftlich oder mündlich eingegeben werden.

Die Pflegekraft (links) gibt bekannt, eine Teilaufgabe erledigt zu haben. Das KI-System nutzt das STS-Modell mit Cosine Similarity, um die Äußerung mit den Checklisten-Einträgen auf höchste Übereinstimmung zu prüfen und ggfs. abzuhaken.

 

Neben einigen multilingualen Modellen existieren auch wenige deutschsprachige Modelle für die Berechnung der semantischen Nähe von Texten. Mit hunderttausenden Downloads ist hierbei vor allem ein Modell von Philipp May (https://huggingface.co/T-Systems-onsite/cross-en-de-roberta-sentence-transformer) – von nun an „TSystems-Modell“ genannt – hervorzuheben. Dieses basiert auf einem speziellen STS-Datenset, welches mit Hilfe einer maschinellen Übersetzung für die deutsche Sprache nutzbar gemacht wurde. Die Popularität dieses Modells erklärt sich außerdem durch den cross-lingualen Ansatz zwischen Deutsch und Englisch, bei dem die semantische Nähe nicht nur zwischen zwei deutschen Sätzen, sondern auch zwischen englischen und deutsch-englischen-Kombinationen möglich ist.

Die Kombination aus cross-lingualer Verwendbarkeit von Deutsch und Englisch sowie der stetig guten Performance im internen Prototyping bei der Sense.AI.tion GmBH und TH Wildau führte zur Idee, eine Bestandsaufnahme des Ansatzes von Philipp May zu machen und an die aktuellen Gegebenheiten anzupassen. Grob lassen sich zwei Verbesserungspotentiale identifizieren:

  1. Es existieren neuere Basis-Modelle aus 2022, die für das Training genutzt werden können
  2. Die Menge an Trainingsbeispielen lässt sich durch weitere maschinelle Übersetzungen anderer Datensets vergrößern. Die Kombination beider Maßnahmen, so die Idee, führt zu einer robusteren und qualitativ besseren Performance.

📚 Details zum Vorgehen für Wissensdurstige 📚

Zu 1:

  • Für englischsprachige Anwendungsfälle existieren mit gewaltigem Abstand die meisten Datensets. So basiert das TSystems-Modell in der Basis auf einem englischsprachigen Paraphrasierungs-Modell welches aus 7 verschiedenen Datensets besteht und insgesamt ca. 24,6 Millionen Sätze enthält. Diese zu übersetzen ist zumeist nicht wirtschaftlich.
  • Da für die deutsche Sprache (und auch viele andere) nur wenige Datensets zur Verfügung stehen, wird verstärkt die Knowledge Distillation (Teacher-Student-Ansatz) verwendet. Dabei wird ein monolinguales Modell (meistens Englisch-basiert) in ein multilinguales Modell (prinzipiell jede Sprache möglich, in unserem Fall Englisch-Deutsch) umgewandelt. Das TSystems-Modell greift dafür auf exakt diesen Ansatz zu, wobei das Teacher-Modell für über 50 Sprachen optimiert wurde.
  • Mittlerweile existiert eine zweite, größere Version des monolingualen Modells mit 12 verschiedenen Datensets und ca. 83,3 Millionen Beispielen. Dieses wurde im Zuge dieses Projektes von uns per Knowledge-Distillation für Deutsch nutzbar gemacht und dient als Ausgangsbasis für das STS-Training. Details können unter https://huggingface.co/PM-AI/paraphrase-distilroberta-base-v2_de-en nachgelesen werden.

Zu 2:

  • Das Datenset STSb galt zum Zeitpunkt des TSystems-Modells als einzige Möglichkeit, ein STS-Modell zu trainieren. Es wird auch bei unserem Modell eingebunden.
  • SICK, ein weiteres Datenset, wurde in Teilen bereits in STSb verwendet, jedoch führt unsere eigenständige Übersetzung, mittels DeepL, zu leicht abgewandelten Formulierungen. Durch diesen Ansatz lassen sich mehr Beispiele ins Training aufnehmen.
  • Das 2022 veröffentlichte Datenset Priya22 semantic textual relatedness wurde gleichermaßen per DeepL ins Deutsche übersetzt und den Trainingsdaten hinzugefügt. Da es über keinen Train-Test-Split verfügt, wurde dieser im Verhältnis 80:20 eigenständig angelegt.
  • Die Bewertungsskala aller Datensets wurde an STSb mit einem Wertebereich von 0 bis 5 angepasst.
  • Alle Trainings- und Testdaten wurden auf Duplikate innerhalb und miteinander geprüft und bei Fund entfernt. Die final verwendeten Datensets können hier betrachtet werden: https://gitlab.com/sense.ai.tion-public/datasets_sts_paraphrase_xlm-roberta-base_de-en.

Training des Modells und Bewertung der Ergebnisse

Im Anschluss an das Training, gilt es, das neu entstandene Modell mit anderen STS-Modellen zu vergleichen. Dazu wird die Performance sowohl cross-lingual als auch nur für Deutsch und Englisch gemessen. Erweiternd werden die verwendeten Test-Samples je Datenset einzeln (STSb, SICK, Priya22), als auch in einem großen kombinierten Test-Datenset (all) ausgewertet. Diese Unterteilung je Datenset ermöglicht eine faire Gesamteinschätzung, da externe Modelle nicht auf der selben Datenbasis wie das hier vorgestellte Modell aufbauen. Erweiternd werden nur Modelle aufgelistet, welche cross- bzw. multilinguale Fähigkeiten besitzen. Intern findet die Evaluierung auch mit monolingualen bzw. andersartigen Modellen statt. Die vollständige Tabelle kann unter folgendem Link in der „Model Card“ betrachtet werden: https://huggingface.co/PM-AI/sts_paraphrase_xlm-roberta-base_de-en.

Vergleich der multilingualen STS-Modelle nach Spearman Koeffizienten
ModelSTSbSICKPriya22all

PM-AI/sts_paraphrase_xlm-roberta-base_de-en (unsers)		0.8672 🏆0.8639 🏆0.8354 🏆0.8711 🏆
T-Systems-onsite/cross-en-de-roberta-sentence-transformer0.85250.76420.79980.8216
PM-AI/paraphrase-distilroberta-base-v2_de-en (unsers, ohne fine-tuning)0.82250.75790.82550.8109
sentence-transformers/paraphrase-multilingual-mpnet-base-v20.83100.75290.81840.8102
sentence-transformers/stsb-xlm-r-multilingual0.81940.77030.75660.7998
sentence-transformers/paraphrase-xlm-r-multilingual-v10.79850.72170.79750.7838
paraphrase-multilingual-MiniLM-L12-v20.78230.70900.78300.7834
sentence-transformers/distiluse-base-multilingual-cased-v10.74490.69410.76070.7534
sentence-transformers/distiluse-base-multilingual-cased-v20.75170.69500.76190.7496
sentence-transformers/distilbert-multilingual-nli-stsb-quora-ranking0.72110.66500.73820.7200
TGM_PAGESPEED_LAZY_ITEMS_INGORED_BLOCK_1_2
Tabelle 1: Ergebnis der Evaluierung. Auf einer Skala von 0.0 bis 1.0 werden die Ansätze nach der Metrik „Recall“ bewertet. Hierbei ist 1.0 der beste Wert.

Bei Betrachtung der Spalte „all“, welche das Performance-Ergebnis über alle genutzten Datensets aufzeigt, wird ein Performancesprung von 5%-Punkten erkennbar. Dies ist wenig überraschend, denn das hier vorgestellte Modell wurde als einziges unter Einbeziehung aller Datensets trainiert und jedes trainierte Modell tendiert zu besseren Ergebnissen, innerhalb der eigenen Trainingsdomäne. Außerdem werden Trainings zumeist nicht cross-lingual durchgeführt, d.h. Satzpaare gehören zur selben Sprache, werden aber nicht gekreuzt betrachtet, beispielsweise zwischen Deutsch und Englisch. Diese Herangehensweise wurde, in Anlehnung an TSystems, dennoch bewusst gewählt.

Folglich besteht die beste Vergleichbarkeit zwischen TSystems und unserem Modell, da zumindest STSb als auch der cross-linguale-Ansatz gleichermaßen Grundlage sind. Wird nun ausschließlich die Spalte „stsb“ betrachtet, so fällt der Performance Unterschied mit ca. 1.5 Prozentpunkten deutlich kleiner aus. Dennoch kann sich unser Modell leicht steigern, da die Einbindung weiterer Datensets insgesamt einen positiven Einfluss zur Folge hat. Die bereits im vorherigen Paragraphen angesprochene nicht integrierte cross-linguale Nutzung wird bei Betrachtung des Modells sentence-transformers/stsb-xlm-r-multilingual gut sichtbar: Obwohl das Modell multilingual ist und speziell mit STSb trainiert wurde, performt es im cross-lingualen-Test deutlich schlechter als TSystems und unser Modell. Wird dagegen nur die Evaluierung mit englischen Sätzen in Betracht gezogen (siehe https://huggingface.co/PM-AI/sts_paraphrase_xlm-roberta-base_de-en), so schmilzt der Performance Vorsprung.

📚 Details zum Vorgehen für Wissensdurstige 📚
  • Es ist wichtig zu verstehen, dass unser Modell Trainingsdaten von STSb, SICK und Priya22 gesehen hat, weshalb es auch ganz logisch bessere Ergebnisse liefert. Das Modell ist schlichtweg sensitiver für diese Art von Beispielen trainiert worden.
  • Die Datensets sind bezüglich ihrer Anzahl von Beispielen nicht in der Verhältnismäßigkeit angeglichen. So ist Priya22 beispielsweise deutlich unterrepräsentiert.
  • Die verglichenen Modelle sind von unterschiedlicher Größe, was sich auf Resourcenverbrauch (CPU, RAM) und die Inferenz-Geschwindigkeit (Benchmark) auswirkt. Sogenannte „large“ Modells performen zumeist besser, kosten aber auch mehr (Ressourcen, realer Geldwert) als z.B „base“ Modelle.
  • Multilinguale Modelle werden i.d.R. durch Knowledge Distillation, von einem monolingualen Zustand ausgehend, nachträglich multilingual gemacht. Sie performen daher in der Originalsprache meist etwas besser. In der Tabelle lässt sich dies bei den „paraphrase“-Modellen anhand der Ergebnisse für Englisch nachvollziehen – diese sind um mehrere Prozentpunkte besser als für Deutsch.

Ausblick auf weitere Forschung und Entwicklung

Ein häufiges Phänomen ist die inkorrekte Zuordnung bei Sätzen, die keine besondere Komplexität haben und für Menschen mit einem Blick korrekt einzuordnen sind. Aktuell schafft es daher noch kein einziges Modell eine vollständige, korrekte Bewertung vorzunehmen. Der Hauptgrund für dieses Phänomen liegt im Aufbau von STS Datensätzen. Die Nutzung wird in der aktuellen Forschung verstärkt kritisiert, da sie als nicht (mehr) ausreichend für das Training von semantische Nähe zwischen Sätzen eingeschätzt wird. Die Trainingssätze sind relativ simpel und decken viele Themenbereiche nur unzureichend ab. Dies wirkt sich vor allem auf Fachrichtungen (z.B. Pflege, Biologie, Medizin, usw.) negativ aus. Die in der Tabelle als „paraphrase“ titulierten Modelle wurden mittels eines ähnlichen Ansatzes trainiert und sollen in Theorie bessere Ergebnisse liefern. Sowohl die veröffentlichte Tabelle als auch interne Tests haben dies bisher nicht bestätigt.

Die vorgestellte Herangehensweise verstärkt ein weiteres Problem von STS-Modellen: Die Checklisten-Einträge sind sehr kurz, wohingegen die Trainingsbeispiele vollständige Sätze umfassen. Gleichermaßen würde dieses Problem auch bestehen, wenn die Checklisten-Einträge sehr lang wären. Das Trainingsspektrum ist nicht breit genug gefasst, um diese Asymmetrie adäquat abzudecken.

Zu schlechter … guter Letzt stellt sich bei der Bewertung von semantischer Nähe auch die Frage, was genau im Fokus zweier Aussagen bzw. Sätze steht: Angenommen laut der Checkliste soll erkannt werden, ob ein Fenster geöffnet/geschlossen wird. In der Checkliste wird dazu das Label „Fenster öffnen/schließen“ und der Beispielsatz „Das Fenster in der Küche öffnen“ angelegt. Natürlich gibt es in der Liste noch weitere Einträge, beispielsweise „Badezimmer reinigen“ mit dem Satz „Das Badezimmer wurde gereinigt“. Gilt es nun den Satz „Ich habe das Fenster im Bad geöffnet“ korrekt einzuordnen, so scheint klar, dass es sich hierbei um das Label „Fenster öffnen/schließen“ handelt. Nach vielen prototypischen Aufbauten mussten wir jedoch feststellen: STS-Modelle „denken anders“ bzw. folgen sehr groben Konzepten. Konkret könnte dem Modell die Verbindung zwischen Bad und Badezimmer wichtiger vorkommen als der Prozess des Fenster öffnens. Diese Problematik variiert von Modell zu Modell und wird für manche Themenbereiche gut aufgelöst und für andere überhaupt nicht.

Diese Einschränkungen lassen sich durch eine enge Zusammenarbeit zwischen Pflegeeinrichtungen bzw. dem Gesundheitswesen und Software-Anbietern ausräumen. Es gilt realistische und spezifische Äußerungen anhand echter Szenarien in die Trainingsdaten aufzunehmen. STS-Modelle lassen sich dennoch prinzipiell in verschiedenen Szenarien einsetzen und bieten eine solide Basis für semantische Näheberechnung. Inwiefern Augmentation, Cross-Encoder und die Klassifizierung nach der SetFit-Methode zu einer weiteren Verbesserung der Robustheit solcher Modelle führen schauen wir uns in einem weiteren Blogbeitrag an.

Dieses Projekt ist eine Kollaboration zwischen der Technischen Hochschule Wildau und sense.ai.tion GmbH. Sie können uns wie folgt kontaktieren:

This work was funded by the European Regional Development Fund (EFRE) and the State of Brandenburg. Project/Vorhaben: “ProFIT: Natürlichsprachliche Dialogassistenten in der Pflege”.

Logos

Der Beitrag Automatisierung von Dokumentationsaufgaben in der Pflege erschien zuerst auf Sense.AI.tion GmbH.

]]> Katheter, Sonde oder doch ein Zugang? Können Sprachassistenten die Pflege erleichtern? https://senseaition.com/2022/11/28/katheter-sonde-oder-doch-ein-zugang-koennen-sprachassistenten-die-pflege-erleichtern/ Mon, 28 Nov 2022 18:38:16 +0000 https://senseaition.com/?p=2301 Es gibt viele Anwendungsfälle für Sprachanalysen, in denen der Kontext eine wesentliche Rolle spielt. Sind Menschen direkt betroffen, dann ist eine exakte Unterscheidung umso wichtiger … Gastbeitrag von Philipp Müller

Der Beitrag Katheter, Sonde oder doch ein Zugang? Können Sprachassistenten die Pflege erleichtern? erschien zuerst auf Sense.AI.tion GmbH.

]]>

Katheter, Sonde oder doch ein Zugang? Können Sprachassistenten die Pflege erleichtern?

Es gibt viele Anwendungsfälle für Sprachanalysen, in denen der Kontext eine wesentliche Rolle spielt. Sind Menschen direkt betroffen, dann ist eine exakte Unterscheidung umso wichtiger … Beitrag von Philipp Müller

Im Rahmen der Erstellung eines KI-Systems zur Informationssuche für die Pflege wurde ein spezielles IR (Information Retrieval) Modell entwickelt. Dieses System verbessert die zielgerichtete Suche in unstrukturierten Datenbeständen. Sowohl kurze, Keyword basierte Formulierungen als auch vollständige Fragen sind anwendbar. Mit dem entwickelten Ansatz konnte eine deutliche Verbesserung des Information Retrieval für Deutsch gegenüber bisherigen Ansätzen erreicht werden (um bis zu 14% Punkte).

Information Retrieval als Basis von Textsuche

„Wie reinigt man den gelegten Zugang?“ Nun, eine Person nimmt sich einen Wischlappen, befeuchtet diesen und wischt die Tür von oben bis unten ab, bis der Dreck entfernt ist. Irgendwie passen Frage und Antwort nicht zusammen? Richtig, denn beim Lesen bzw. Interpretieren erscheint die Kombination aus „etwas legen + Zugang“ nicht stimmig, um eine Interpretation mit Zugang/Eingang/Tür zuzulassen. Mit etwas Vorwissen lässt sich schlussfolgern, dass der Kontext im Bereich der medizinischen Versorgung anzusiedeln ist. Konkret wird erfragt, wie der Katheter einer Person gereinigt werden kann, beispielsweise um diesen zu desinfizieren. Aber die Beweggründe sind eigentlich unwichtig, denn was viel mehr interessiert, ist die korrekte Kontextualisierung und korrekte Beantwortung der Nutzereingabe.

Sprachanalyse in der Pflege
Image by Freepik

Die eingangs formulierte Frage mittels einer gängigen Suchmaschine zu beantworten ist zwar prinzipiell möglich, sollte aufgrund der Auswirkungen auf Menschen (und insbesondere Patienten), jedoch auf einer selbst zusammengestellten Datenbasis mit entsprechendem Domäne-Wissen basieren. Dafür ist ein Information Retrieval (IR) System notwendig. Ein IR-System nutzt die Eingabe der Benutzer zum Abgleich mit Dokumenten in einer Datenbank, um die relevantesten Inhalte zu extrahieren und zu sortieren. Die Suche nach relevanten Inhalten hat sich dabei über Jahre hinweg wenig verbessert und basiert auf lexikalischen Ansätzen wie der statistischen Vorkommenshäufigkeit (z.B. TF-IDF, BM25), der Wortstammrückführung, Entfernung von „irrelevanten Worten“ aber auch simplen (Voll-)Text vergleichen.

Direkte Abgleiche, egal ob bei Schlüsselworten (Keywords), Wortgruppen oder im Volltext, haben ein generelles Problem: Sprache ist nicht eindeutig. Die Suchergebnisse ignorieren inhaltsmäßige Ähnlichkeiten. Verwenden Benutzer nicht „die richtigen Worte“, sondern Synonyme oder thematisch ähnliche Begriffe, kann es schnell zu falschen Ergebnissen kommen. Beispielsweise könnten die Domäne-Inhalte einer Pflege-Einrichtung ausschließlich fachsprachlich vorliegen, was bedeutet, dass in den Texten von „Sonde“, „Katheter“, etc. die Rede ist und der Begriff „Zugang“ gar nicht vorkommt. In diesem Fall kann keine der klassischen Suchmethoden zielgerichtet relevante Inhalte auffinden. Die möglichst große Übereinstimmung von Eingabeworten und verwendeten Begriffen in den Dokumenten der Datenbank ist zwingende Voraussetzung, egal welche lexikalische oder syntaktische Methode Anwendung findet.

Verbesserung mit KI-Methoden

Mit Aufkommen der aktuellen KI-Welle entwickelten sich in den letzten Jahren vielversprechende Ansätze, um dieses Problematik unter Nutzung von Machine Learning, respektive Deep Learning, zu minimieren. Die Einführung von „Transformer“, zu nennen sind hierbei vor allem BERT, XLM, und T5, ermöglichen es, Zusammenhänge von Worten (Ähnlichkeit, Analogie, Thematik) durch neuronale Sprachmodelle darzustellen. Ein solches Modell kann anschließend anhand von Trainingsdaten hinsichtlich eines Lernziels optimiert werden.

Sprachanalyse in der Pflege
Image by rawpixel.com on Freepik

In dem hier vorgestellten Fall gilt es, das Sprachmodell für die asymmetrische Suche zwischen einer Frage und beliebig vielen Textpassagen zu verfeinern (fine tuning). Die Suche ist asymmetrisch, weil eine relativ kurze Frage mit einer i.d.R. deutlich längeren Passage bzw. einem Textabsatz auf semantische Nähe untersucht wird. Im Training erlernt das Modell dabei anhand von Daten-Samples, bestehend aus Frage, der richtigen Antwort, einer falschen Antwort sowie einer Bewertung (score), zu priorisieren, welche Zusammenhänge zwischen Frage und Antwort besonders relevant (attentions) sind.

Symmetrische Suche vs. Asymmetrische Suche

Sollen relevante Inhalte bei der symmetrischen Variante gefunden werden, so müssen Eingabesatz und die Sätze der Datenbank ungefähr gleich lang sein. Bestenfalls sind die Sätze sogar gleich aufgebaut, d.h. es wird die Eingabefrage mit ähnlichen Fragen abgeglichen. In einem FAQ-System kann dies hilfreich sein, da FAQs häufig je Textabschnitt mit einer Frage beginnen. Beispiel: „Wie reinigt man den gelegten Zugang?“ ↔ „Was mache ich bei der Reinigung des Katheters?“

Gilt es relevante Inhalte mit der asymmetrischen Form zu finden, so sollten Eingabesatz und Datenbank-Sätze unterschiedlich lang, wobei dabei normalerweise letztere länger sind. Solche Suchsysteme kommen am häufigsten vor und auch das hier vorgestellte entspricht diesem Ansatz. Beispiel: „Wie reinigt man den gelegten Zugang?“ ↔ „Der hygienische Umgang mit einem Katheter ist enorm wichtig, um das Infektionsrisiko zu minimieren. Gehen Sie dabei wie folgt vor: (…)“

Training des Modells und Bewertung der Ergebnisse

Die Durchführung des Trainings erfolgt unter Nutzung von Sentence Transformer mit der Margin-MSE-Loss-Methode. Auf Details des Trainings (Parameter, Dauer, Skripte) soll an dieser Stelle nicht eingegangen werden. Alles wissenswerte über den Datensatz und den Trainingsprozess wird ein einem separaten Artikel vorgestellt bzw. können diese Informationen schon jetzt auf Englisch über Huggingface Transformers, der wichtigsten Plattform zur Veröffentlichung von Transformer Modellen, eingesehen werden. Außerdem lässt sich das trainierte Modell von dort herunterladen (https://huggingface.co/PM-AI/bi-encoder_msmarco_bert-base_german).

Gleich nach dem Training ist eine Evaluierung des neu entstandenen Modells nötig. Nach einer Recherche hat sich zunächst der Vergleich zwischen drei Ansätzen angeboten, welcher in Tabelle 1 dargestellt ist.

Recall@1Recall@10Recall@100
Unser Modell 🏆0.53000.71960.7360
svalabs/bi-electra-ms-marco-german-uncased0.38180.56630.5986
BM250.31960.53770.5740
TGM_PAGESPEED_LAZY_ITEMS_INGORED_BLOCK_2_3

Tabelle 1: Ergebnis der Evaluierung. Auf einer Skala von 0.0 bis 1.0 werden die Ansätze nach der Metrik „Recall“ bewertet. Hierbei ist 1.0 der beste Wert.

Im Vergleich schneidet BM25, ein lexikalischer Ansatz, der in der Praxis noch häufig Verwendung findet, am schlechtesten ab. Im Evaluierungs-Datensatz befinden sich schlichtweg zu viele Frage-Antwort-Paare, die nur bei Verständnis von Synonymen und thematischer Ähnlichkeit korrekt miteinander in Verbindung gesetzt werden können. Das Modell von svalabs erlaubt dagegen den direkten Vergleich zwischen zwei sehr ähnlichen Ansätzen, da sowohl svalabs als auch das Modell von senseaition und der TH Wildau Transformer basiert sind. Im Ergebnis schneidet das neue Modell mit einer hervorragenden Performance-Steigerung um 14 Prozentpunkte ab.

Um die Qualität des hier vorgestellten Ansatzes zu untermauern, findet ein weiterer Vergleich mit einem aktuellen State-Of-The-Art Modell statt: Das Entwickler-Team von deepset.ai hat, nach der DPR-Methode, einen Zwei-Stufen-Transformer für Deutsch entwickelt, bei dem Fragen und Texte/Passagen separat behandelt werden. Die erweiterten Ergebnisse sind in Tabelle 2 abgebildet.

Recall@1Recall@10Recall@100
Unser Modell 🏆0.53000.71960.7360
deepset/gbert-base-germandpr-query_encoder
&
deepset/gbert-base-germandpr-ctx_encoder		0.48280.69700.7147
svalabs/bi-electra-ms-marco-german-uncased0.38180.56630.5986
BM250.31960.53770.5740
TGM_PAGESPEED_LAZY_ITEMS_INGORED_BLOCK_3_4

Tabelle 2: Ergebnis der Evaluierung. Auf einer Skala von 0.0 bis 1.0 werden die Ansätze nach der Metrik „Recall“ bewertet. Hierbei ist 1.0 der beste Wert.

Auch wenn die Performance-Steigerung mit ca. 2 Prozentpunkten kleiner ausfällt, ist das Ergebnis dennoch beeindruckend. Denn beim Ansatz von deepset werden zwei Modelle gebraucht, was Arbeitsspeicher und CPU-Leistung doppelt beansprucht und somit höhere Kosten verursacht. Im Produktiveinsatz kann dies entscheidend sein.

Die Ergebniswerte dürfen jedoch nicht als absolute Werte betrachtet werden! Je nach Testdaten und Domäne können die Werte variieren. Dennoch ist die Evaluierung im Vergleich der Ansätze untereinander valide. Übrigens, Experimente haben die Sinnhaftigkeit einer Kombination von BM25 mit Transformer-Modellen bewiesen. Entsprechende Erkenntnisse, KI getriebene Dienste und das technische Know-How bietet Ihnen die sense.AI.tion GmbH über eine eigens entwickelte Cloud-Produktpalette.

Dieses Projekt ist eine Kollaboration zwischen der Technischen Hochschule Wildau und sense.ai.tion GmbH. Sie können uns wie folgt kontaktieren:

This work was funded by the European Regional Development Fund (EFRE) and the State of Brandenburg. Project/Vorhaben: “ProFIT: Natürlichsprachliche Dialogassistenten in der Pflege”.

Logos

Dieser Artikel erschien zuerst auf https://matthias.boldt.org/post/2022-11-28-katheter-sonde-oder-doch-ein-zugang/

Der Beitrag Katheter, Sonde oder doch ein Zugang? Können Sprachassistenten die Pflege erleichtern? erschien zuerst auf Sense.AI.tion GmbH.

]]> Oh mein Gott, die vielen KI-Modelle ruinieren uns! https://senseaition.com/2022/04/07/oh-mein-gott-die-vielen-ki-modelle-ruinieren-uns/ Thu, 07 Apr 2022 10:41:19 +0000 https://senseaition.com/?p=2187 Die Anzahl an praktisch benötigten KI-Modellen kann schnell Überhand nehmen und die zur Verfügung stehenden IT-Ressourcen strangulieren. Gibt es einen Ausweg aus dieser Falle?

Der Beitrag Oh mein Gott, die vielen KI-Modelle ruinieren uns! erschien zuerst auf Sense.AI.tion GmbH.

]]>

Oh mein Gott, die vielen KI-Modelle ruinieren uns!

Die Anzahl an praktisch benötigten KI-Modellen kann schnell Überhand nehmen und die zur Verfügung stehenden IT-Ressourcen strangulieren. Gibt es einen Ausweg aus dieser Falle?

Software-Systeme aufzubauen, die Analysen nutzen, die auf KI-Methoden basieren, ist heute kein Problem mehr. Es gibt viele vorgefertigte Bausteine. Abhängig von der Art der Anwendung werden jedoch schnell viele, individuelle KI-Modelle je Nutzer benötigt. Das geschieht zum Beispiel, wenn ein Anwender unterschiedliche Projekte durchführt und für jedes ein anderes KI-Modell trainiert und genutzt werden muss. Bei projektspezifischen Klassifikatoren ist das keine Seltenheit. Im Laufe der Zeit können somit viele unterschiedliche Modelle entstehen, die der Nutzer alle gleichzeitig verfügbar haben möchte.

Eventuell wird das Software-System parallel an verschiedene Kunden lizenziert, z.B. in Form einer SaaS-Lösung. In einem solchen Fall multipliziert sich dann die Anzahl der benötigten KI-Modelle schnell zu mehreren hundert, wenn nicht gar tausend davon.

Natürlich sollen die Anfragen für Analysen an das System in Millisekunden beantwortet werden. Leider benötigen Machine-Learning- und Deep-Learning-Modell viele Ressourcen und eine nicht zu vernachlässigende ramp-up-Phase, bis sie nutzbar sind. Am Ende müssten für alle möglichen Modelle Services gestartet und fortwährend laufend vorgehalten werden. Nur so lässt sich die Forderung nach einer Antwort in wenigen Millisekunden für jede Anfrage realisieren.

Das ist betriebswirtschaftlich ein NoGo: Durch den enormen Ressourcenverbrauch entstehen extreme Kosten pro Transaktion und zusätzlich ist es auch ein ökologisches Desaster. Jeweils für sich gesehen, werden die einzelnen Services/KI-Modelle vergleichsweise selten genutzt. Da jedoch alle ständig lauffähig gehalten werden müssen, ergibt sich ein hoher Energieverbrauch bei nur geringem produktivem Nutzen. Green IT ist das wirklich nicht.

… und die Lösung?

Eine Möglichkeit dieser Falle zu entgehen, besteht in einem schnellen Ein- und Auslagern der Modelle je nach Anforderung und Bedarf. Das hört sich einfacher an, als es ist. Nach dem Laden eines KI-Modelles wird während der ramp-up-Phase in vielen Fällen eine ‘arbeitsfähige, interne Struktur’ von diesem erzeugt. Diese interne Struktur ist im Normalfall nicht im Arbeitsspeicher verschiebbar. Ohne eine Erweiterung des Systems, das die Modelle lädt und verarbeitet, ist das Ein- und Auslagern der laufenden KI-Modelle also kaum umsetzbar.

Zuerst wird eine interne Struktur des Modelles benötigt, die nicht von einer speziellen Position im Arbeitsspeicher abhängt. Dabei verbieten sich zum Beispiel Zeiger auf Speicherbereiche und dürfen darin nicht enthalten sein.

In der ramp-up-Phase wird das trainierte Modell geladen und in die neue, interne Struktur gewandelt. Damit ist das KI-System in einem lauffähigen Zustand. Nach Abschluss dieses Initialisierungsschrittes kann durch eine weitere Veränderung von dem internen Modellen ein Dump gezogen und gespeichert werden.

Eine weitere Anpassung des KI-Systems dient anschließend dazu, je nach Arbeitsanforderung das benötigte Modell auszutauschen. Die lauffähigen Dumps benötigen keine ramp-up-Phase mehr, sind nach dem Tausch also sofort nutzbar. Mehrere Caching-Ebenen können für eine weitere Beschleunigung des Austauschvorgangs genutzt werden.

Im Ergebnis dieser Veränderungen des KI-Systems ist dann wirklich ein schneller Austausch von Modellen innerhalb von Millisekunden möglich. Wenige Instanzen des KI-Systems können viele unterschiedliche Modelle nutzen. Das kommt dem Einsatz in einer Microservices-Architektur entgegen. Zusätzlich ergibt sich eine Einsparung von Ressourcen und natürlich die Senkung des Energieverbrauchs – Green IT.

sense.AI.tion hat die Erfahrungen

sense.AI.tion hat vielfältige, praktische Erfahrungen mit dem Einsatz von KI-Systemen als Microservices in Cloud-Software-Systemen gesammelt. Wir können bei der Integration eines solchen Bestandteils in bestehende Software-Systeme helfen … und das onshore … vom Rande Berlins … nah und kompetent. Wir geben unsere Erfahrungen gern weiter.

Dieser Artikel erschien zuerst auf  https://matthias.boldt.org/post/flut-an-ki-modellen/

Der Beitrag Oh mein Gott, die vielen KI-Modelle ruinieren uns! erschien zuerst auf Sense.AI.tion GmbH.

]]> Wie kann KI in Microservice-Systemen funktionieren? https://senseaition.com/2022/03/29/wie-kann-ki-in-microservice-systemen-funktionieren/ Tue, 29 Mar 2022 11:04:15 +0000 https://senseaition.com/?p=2152 Künstliche Intelligenz in Microservice-Systemen, in Kubernets-Clustern, … funktioniert das überhaupt? Sind das nicht große, unhandliche Module in unpassender Software-Architektur?

Der Beitrag Wie kann KI in Microservice-Systemen funktionieren? erschien zuerst auf Sense.AI.tion GmbH.

]]>

Wie kann KI in Microservice-Systemen funktionieren? Software-Architektur?

Künstliche Intelligenz in Microservice-Systemen, in Kubernets-Clustern, … funktioniert das überhaupt? Sind das nicht große, unhandliche Module in unpassender Software-Architektur?

Die Nutzung von Methoden der Künstlichen Intelligenz nimmt in der Praxis rasant zu, bei steigendem Bedarf. In vielen Fällen hat die Entwicklung diese Systeme ihren Anfang in der Forschung. Das ist gut – sehr gut – denn so gelangen neueste Erkenntnisse und Entwicklungen sehr schnell in die produktive Praxis. UND es ist gleichzeitig ein Problem: In der Forschung sind solche Systeme im Normalfall als “Demonstratoren” ausgelegt. Sie dienen dem Nachweis einer prinzipiellen Funktionalität, zur Überprüfung neuester, wissenschaftlicher Erkenntnisse, sind Vorbereitung und/oder Teil einer Veröffentlichung und nicht dafür gedacht, in der entwickelten Form praktische Arbeit auszuführen.

Daraus resultiert leider häufig, dass der KI-Modul erst einmal nicht “reentrant” ist. Das heißt, er ist als Programm nicht in der Lage, mehrere Anfragen gleichzeitig zu verarbeiten. Im schlimmsten Fall ist er sogar nur für einen einmaligen Aufruf geeignet und muss anschließend neu gestartet werden. Gerade KI-Systeme haben eine nicht zu vernachlässigende Ladezeit (ramp-up-Phase). Bis sie betriebsbereit sind, müssen die trainierten (oft riesigen) Modelle geladen und interne Strukturen initialisiert werden. Die Forschung hat Ressourcenverbrauch und Verarbeitungszeit nicht in ihrem Fokus, da es in ihr primär um den Nachweis der prinzipiellen Nutzbarkeit geht. Das kann in keinem Falle zu einem Vorwurf gemacht werden, da Forschung und Anwendungsentwicklung nun einmal vollkommen verschiedene Motivationen und Zielrichtungen haben.

Eine weitere Herausforderung für einen praktischen Einsatz von KI-Systemen kann durch eine in der Forschung genutzte Programmierumgebung entstehen. In vielen Fällen ist dies Python. Python bietet viele Vorteile, da es neben einer einfach zu nutzenden Programmiersprache eine große Laufzeitumgebung mit zusätzlichen Funktionen und mathematischen Modulen zur Verfügung stellt. Diese erleichtern die Arbeit in der Forschung und Entwicklung erheblich. Leider ergibt sich aus diesem Vorteil auch ein Nachteil für den produktiven Einsatz: Es entsteht ein großer ”Ressourcenhunger”, der sich störend in einer Cloud- und Microservices-Umgebung auswirken kann.

Die Praxis beginnt am Horizont, erst weit hinter den Prototypen

Also ist Vorsicht geboten, bei einer kurzfristigen Übernahme von KI-Systemen aus der Forschung in die Praxis. Es sind mit hoher Wahrscheinlichkeit einige Untersuchungen und Schritte notwendig, um die neue KI in ein produktives System zu integrieren.

Zu Kubernetes, Microservices, KI-Systemen und deren Kombinationen sind viele Artikel im Internet zu finden. Meist wird darin beschrieben, wie so etwas schnell zum Einsatz gebracht werden kann. Für eine praktische Nutzung in produktiv eingesetzten Software-Systemen sind viele Nebenbedingungen zu lösen. Von ”Wir haben das einmal ausprobiert und es hat prototypisch funktioniert …” bis zum stabilen, praktischen Einsatz für Kunden ist es ein weiter Weg.

… und die Lösung?

Wie nicht anders zu erwarten, besteht die Lösung in der Abarbeitung vieler Aufgaben, von denen hier einzige genannt werden sollen:

  • Das Modell ist auf Verzerrungen zu untersuchen. Niemand möchte in der Praxis ein System einsetzen, das z.B. durch die Diskriminierung von einzelnen Menschen oder Gruppen auffällt oder z.B. mit speziellen meteo­ro­lo­gischen Konstellationen nicht umgehen kann und deshalb Extremsituationen fehlerhaft bewertet. Dafür sind die zum Training des Modells genutzten Daten sorgsam auszuwählen und zu ergänzen.
  • Das trainierte Modell sollte nach Möglichkeit in seiner Größe reduziert werden, da diese einen direkten Einfluss auf den Ressourcenverbrauch, das Laufzeitverhalten und die ramp-up-Phase des KI-Systems hat. Für Deep-Learning-Modelle bietet sich z.B. eine Konvertierung in das ONNX-Format an. Diese ist oft mit einer Reduktion der Größe verbunden.
  • Um mehrere Verarbeitungen parallel ablaufen lassen zu können, sollte das KI-System reentrant werden. Dafür sind z.B. Probleme zu untersuchen, die auf Grundlage statischer Datenbereiche und globaler Variablen entstehen können und eine korrekte Abarbeitung weiterer Aufgaben verhindern. Außerdem ist das System in einen Service (oder Server) umzuwandeln, der mehrere Aufrufe parallel verarbeiten kann und keine Neustarts benötigt.
  • Ein Ziel ist die Erzeugung eines möglichst “kleinen” Service (zumeist Containers) für den effizienten Einsatz in einer Cloud-Computing-Umgebung, wie z.B. Kubernetes. Die Größe kann entscheidend mit der Wahl der Laufzeitumgebung und Programmiersprache beeinflusst werden. Heute bieten sich entweder GO, Rust oder C++ an. Mit einigen zusätzlichen Anstregungen ist es jedoch auch möglich, mit Python optimierte, kleine Services aufzubauen.
  • Die Suche und Beseitigung von Memory-Leaks ist eine der wichtigsten Aufgaben. Schließlich soll der Service über Tage/Wochen/Monate ohne Neustart laufen können und sein Speicherbedarf dabei nicht ins Endlose wachsen.
  • Nach Möglichkeit ist eine Reduzierung der ramp-up-Phase des Service auf wenige Sekunden anzustreben. Kurze Zeitspannen für den Start einer Instanz des KI-Systems gestatten die Nutzung eines Autoscalings, um im produktiven Einsatz schnell auf steigende Anforderungen reagieren zu können.
  • Mit der Integration eines Cachings der Daten und Modelle kann die Reduktion des Verbrauchs an Ressourcen und der Zeiten der ramp-up-Phase unterstützt werden.
  • Auf jeden Fall ist eine Überwachung der wesentlichen Systemparameter zu integrieren. Mit Hilfe eines solchen health-Systems ist zum Beispiel ein automatischer Austausch und Neustart des Service bei auftretenden Problemen realisierbar, um einen unterbrechungsfreien Betrieb zu garantieren.

Obwohl obige Auflistung die wesentlichen Arbeiten enthält, ist sie in keinem Falle vollständig. Je nach gewählter Cloud-Computing-Umgebung, in der das KI-System zum praktischen Einsatz kommen soll, sind noch weitere Untersuchungen, Anpassungen und Ergänzungen notwendig.

Nutzung der Erfahrungen von sense.AI.tion

sense.AI.tion hat vielfältige, praktische Erfahrungen mit dem Einsatz von KI-Systemen als Microservices in Cloud-Software-Systemen gesammelt. Wir können bei der Integration eines solchen Bestandteils in bestehende Software-Systeme helfen … und das onshore … vom Rande Berlins … nah und kompetent. Wir geben unsere Erfahrungen gern weiter.

Dieser Artikel erschien zuerst auf https://matthias.boldt.org/post/ki-und-microservices/ 

Der Beitrag Wie kann KI in Microservice-Systemen funktionieren? erschien zuerst auf Sense.AI.tion GmbH.

]]> Die Geheimnisse Von Message-Queues in Der Praxis https://senseaition.com/2022/03/22/die-geheimnisse-von-message-queues-in-der-praxis/ Tue, 22 Mar 2022 10:45:39 +0000 https://senseaition.com/?p=2144 Über Microservice-Systeme wird viel gesprochen. Message-Queues spielen in diesen eine große Rolle, kommen in der Diskussion jedoch selten vor.

Der Beitrag Die Geheimnisse Von Message-Queues in Der Praxis erschien zuerst auf Sense.AI.tion GmbH.

]]>

Die Geheimnisse Von Message-Queues in Der Praxis

Über Microservice-Systeme wird viel gesprochen. Message-Queues spielen in diesen eine große Rolle, kommen in der Diskussion jedoch selten vor.

Über Cloud-Software und Cloud-Computing unter der Verwendung von Microservices wird viel geschrieben und thematisiert. Innerhalb der für diese Systeme notwendigen Architekturen spielen Message-Queues eine zentrale Rolle. In der allgemeinen Diskussion werden sie jedoch selten behandelt – doppelt zu Unrecht, denn es gibt “Geheimnisse”, die man erst in einem praktischen Einsatz lüften kann.

Mit modernen Software-Systemen verhält es sich genauso wie mit Kochrezepten: Man kann nicht einfach alle Zutaten zusammenrühren und hoffen, das Resultat schmeckt dann schon. Nehmen wir zum Beispiel eine Zitronenspeise. Für deren Zubereitung muss man zwischendurch ein kleines Kunststück aus Eischnee und Gelatine vollbringen. Bei Cloud-Anwendungen ist es ebenso, ganz besonders bei solchen, in denen Microservices zur Anwendung gebracht werden sollen. Natürlich ohne Eischnee, dafür mit Message-Queues.

Welche Rolle spielen Message-Queues?

In einem System, das nach dem Microservices-Architecture-Pattern konstruiert ist, sind viele unterschiedliche Service-Module für die Verarbeitung der Daten zuständig. Diese müssen in der richtigen/gewünschten Reihenfolge verschaltet werden. Hier können Message-Queues zum Einsatz kommen. Sie verbinden dann nicht nur die einzelnen Microservices, sondern übermitteln auch die Daten zwischen diesen.

Message-Queues sind natürlich nur eine mögliche Art und Weise der Vermittlung von Nachrichten zwischen den Verarbeitungseinheiten eines Cloud-Software-Systems. Sie bieten jedoch viele Vorteile zum Beispiel gegenüber der Nutzung simpler REST-Calls, die die Services untereinander austauschen.

Wofür werden Message-Queues genutzt?

Natürlich ist der Transport von Nachrichten und Daten zwischen verschiedenen Services die wichtigste Aufgabe einer Message-Queue. Es lassen sich jedoch auch andere Ziele mit dieser Technik umsetzen, die eine “saubere” Architektur des gesamten Systems unterstützen. Eine kleine Auswahl dieser Ziele hier zum Verständnis:

Abstraktion vom allgemeinen Ablauf

Ein oft gewünschter Zusatznutzen ist die Trennung der Verantwortlichkeiten (das sogenannte “Separation of Concerns”). In Kombination von Message-Queues und einer Workflow-Steuerung für die Verarbeitungsabläufe innerhalb des Cloud-Systems, kann diese Trennung umgesetzt werden. So werden die einzelnen, verarbeitenden Services nicht mit dem Wissen über die Existenz anderer Services und den Gesamtablauf belastet/überfrachtet. Das hat außerdem noch einen weiteren, positiven Effekt: Die verarbeitenden Services können schnell und einfach in neuen Workflows auf andere Arten miteinander verknüpft werden. Somit wird ein universeller Einsatz der Services möglich.

asynchrone Entkopplung der Services

Die einzelnen Module/Services eines Software-Systems benötigen unterschiedliche Zeiten für die Verarbeitung von Daten. In vielen Fällen ist es nicht erwünscht, dass Teile eines Systems auf die Fertigstellung einer von ihnen beauftragten Verarbeitung warten und in dieser Zeit blockiert sind, d.h. keine weiteren Aufträge ausführen können. Mit Message-Queues kann ein solcher asynchroner “fire-and-forget”-Modus umgesetzt werden. Ist der Auftrag als Message in der Queue abgelegt, ist für den beauftragenden Modul alle Arbeit getan und er ist frei für weitere Aufgaben.

punktuelle Skalierung

Microservices-Systeme können (im Gegensatz zu klassischen, monolithischen Systemen) ganz gezielt in einzelnen Teilen/Funktionsgruppen/Services skalieren. So können exakt an den Stellen, wo ein erhöhter Bedarf besteht, weitere Services gestartet und an der Verarbeitung der Daten beteiligt werden. Die Nutzer erleben somit keine zeitliche Verzögerung in der Fertigstellung ihrer Arbeitsaufträge, obwohl die Last für das System gestiegen ist. Diese Last kann auf viele unterschiedliche Arten gemessen werden. Mittels des Einsatzes einer Message-Queue ergibt sich eine elegante Lösung, die gleichzeitig noch die Verteilung der Arbeiten an die neue gestarteten Services übernimmt. Über die Messung über Länge einer Queue steht zu jedem Zeitpunkt ein extrem verlässliches Signal über die Belastung des Systems zur Verfügung. Es kann hervorragend für ein up- und down-scaling der gekoppelten Services genutzt werden.

Ist jedes Message-Queue-System passend?

Für den Einsatz in der produktiven Praxis stehen heute eine Vielzahl an Message-Queue-Systemen zur Verfügung. Es ergibt sich also die Qual der Wahl. Gut beraten ist, wer sich im Vorfeld eine Liste an Kriterien erstellt, nach denen er das Feld der Kandidaten eingrenzen möchte. Nachfolgend sollen einige dieser Kriterien genannt und erläutert werden:

Technologie/Framework

Wird die von der Message-Queue verwandte Basis-Technologie (z.B. Programmiersprache, Framework, …) bereits vom Entwicklungs- und Betriebsteam genutzt? Sind Kenntnisse darüber vorhanden, oder müssen diese erst durch Schulungen und Weiterbildungen aufgebaut werden? Die Antworten auf diese Fragen beeinflussen entscheidend die Kosten insgesamt und die ramp-up-Phase des Projektes. Neu ist aufregend und interessant, jedoch ist es oft auch teuer.

Client-Bibliothek

Eine Message-Queue muss als Software-Bestandteil mit dem bestehenden Systemteilen verbunden werden. Dies geschieht im Normalfall über die Nutzung von Client-Bibliotheken, welche die kommunikativen Abläufe kapseln und als handliche Funktionen zur Verfügung stellen. Solche Bibliotheken gilt es für die im bestehenden System verwendete Programmiersprache zu finden. Diese sollte gut gepflegt sein und von einer größeren Community genutzt werden. Das beugt Überraschungen in der Zukunft vor.

Gibt es keine dieser Bibliotheken, kann natürlich ein Adapter für das von der Message-Queue genutzte Kommunikationsprotokoll im eigenen Unternehmen entwickelt werden. Das ist in den meisten Fällen nicht kompliziert, benötigt jedoch zusätzliche Zeit, schlägt sich also negativ auf die ramp-up-Phase des Projektes nieder … von den Kosten ganz zu schweigen.

Message-Schemata

Die von Message-Queue-Systemen umgesetzten Abläufe sind durchaus sehr verschieden. Es gibt viele unterschiedliche Schemata/Pattern, die jeweils für spezielle Aufgaben eingesetzt werden können. Das “System der Wahl” muss natürlich die Messaging-Pattern umsetzen können, die in Ihrem bestehenden Software-System genutzt werden können. Hier lohnt sich also eine detaillierte Analyse, um nicht nicht während der Umstellung auf unlösbare Probleme zu stoßen. In diesem Falle müsste man noch einmal beginnen und ein großer Teil der bisherigen Arbeiten wäre “Schrott” … kein schöner Gedanke.

Größe der Datenblöcke

Die Menge der zu übertragenden Daten und die Größe der Datenblöcke sollte eine wesentliche Rolle bei der Auswahl spielen. Message-Queues sind in vielen Fällen nur als “Briefträger” gedacht. Mit “Paketen” haben sie oft Probleme. Sollen größere Datenmengen mit den Messages übertragen werden, schränkt das die Auswahl ein. Leider sind in diesem Fall auch praktische Experimente notwendig, um die Auswirkungen auf die Geschwindigkeit der Vermittlung zu testen.

Messages pro Sekunde

Geschwindigkeit ist keine Hexerei, auch bei Message-Queue-Systemen nicht. Diese sind am Ende auch nur Software und keine Magie. Da sind dann die Geschwindigkeit der Datenübermittlung und verarbeitbare Datenmenge sehr entscheidende Kriterien für eine Auswahl.

Am Ende ist es auch bei der Auswahl eines Message-Queue-Systems wie im richtigen Leben: Nur ein praktischer Versuch kann dabei helfen, die richtige Lösung zu finden.

sense.AI.tion hat die Erfahrungen

sense.AI.tion hat praktische Erfahrungen mit dem Einsatz von Message-Queues in Cloud-Software-Systemen gesammelt. Wir können bei der Auswahl und Integration eines solchen Bestandteils in bestehende Software-Systeme helfen … und das onshore … vom Rande Berlins … nah und kompetent. Wir geben unsere Erfahrungen gern weiter.

Dieser Artikel erschien zuerst auf  https://matthias.boldt.org/post/geheimnisse-der-message-queues/

Der Beitrag Die Geheimnisse Von Message-Queues in Der Praxis erschien zuerst auf Sense.AI.tion GmbH.

]]> Künstliche Intelligenzen und Persönlichkeit https://senseaition.com/2022/03/15/ki-und-persoenlichkeit/ Tue, 15 Mar 2022 10:06:10 +0000 https://senseaition.com/?p=2136 Wie wir Menschen untereinander kommunizieren, ist stark von unseren Persönlichkeiten abhängig. Individuelle Motivationen und Grundbedürfnisse bestimmen nachhaltig, wie und warum wir untereinander Informationen austauschen.

Der Beitrag Künstliche Intelligenzen und Persönlichkeit erschien zuerst auf Sense.AI.tion GmbH.

]]>

Künstliche Intelligenzen und Persönlichkeit

Die Vermessung der Persönlichkeit mit KI-basierter Analysen

Wie wir Menschen untereinander kommunizieren, ist stark von unseren Persönlichkeiten abhängig. Individuelle Motivationen und Grundbedürfnisse bestimmen nachhaltig, wie und warum wir untereinander Informationen austauschen. Experimente haben immer wieder gezeigt, dass wir unsere Persönlichkeit nicht verbergen können. Sie schwingt in allem mit, was wir mündlich und schriftlich von uns geben oder aufnehmen. Die Kenntnis der Grundbedürfnisse und Motivationen des Gegenüber ist notwendig, um ”auf einer Ebene” zu kommunizieren und ein Aneinander-Vorbei-Reden zu vermeiden. Im Arbeitsleben muss man sich auf die anderen Team-Mitglieder verlassen können und/oder die Bedürfnisse seiner Kunden so detailliert wie möglich erfassen. Nur so kann man erfolgreich und zufrieden den herausfordernden Alltag bewältigen. Jeder kennt aus eigenem Erleben Fälle, in denen das nicht gelungen ist und möchte ungern an diese erinnert werden.

Sprachliche Kommunikation ist das Rückgrat unserer Zivilisation. Intuitiv erfassen wir die darin mitgeteilten Bedürfnisse und Motivationen unserer Mitmenschen. Das gelingt uns manchmal mehr und oft leider weniger gut. Eine automatisierte und unterstützende Analyse könnte also in jeder Lebens- und Arbeitslage gute Dienste leisten.

Mit der TwentyFive Methode bietet sich eine moderne Möglichkeit, die ”Vermessung des Unbewussten” ohne jede Wertung vorzunehmen. Im Buch „TwentyFive – Die Methode“ ist leicht nachvollziehbar beschrieben, auf welche Weise dies technisch durch Machine-Learning-Systeme geschehen kann.

Übrigens hat Christoph Hofmański im Krimi „Die Garotte“ unterhaltsam das Verhalten der handelnden Personen mittels der TwentyFive-Methode analysiert.

Was macht Machine-Learning so faszinierend und so anders?

Software dient immer dazu, Eingabedaten in Ausgabedaten umzuformen. Nicht immer kann der Verarbeitungsvorgang algorithmisch beschrieben werden. Die Methoden des Machine-Learning (ein Bereich der Künstlichen Intelligenz) bieten in diesen Fällen einen Ausweg: Daten bewerten Daten und steuern damit die Verarbeitung.

Für den Entwickler der Software stellt dies natürlich einen Verlust an Macht dar. Er verliert etwas von seinem „göttlichen Status“, da nicht mehr er den Algorithmus, also den Lauf der Dinge, bestimmt. Das übernehmen nun die Daten eines trainierten Modells. Neben all den Schwierigkeiten zur Erlangung guter und verlässlicher Trainingsdaten, haben Machine-Learning-Systeme einige kleine Vorteile. So gibt es zum Beispiel keine „Entscheidungslücken“, wie in festen Algorithmen. Da kein Entwickler im Programm vergessen hat, spezielle Kombinationen von Eingabedaten zu berücksichtigen, kann auch kein Blue-Screen oder Fehler auftauchen. Natürlich ist das Ergebnis in vielen Fällen nicht zu 100% passend. Oft ist eine exakte Aussage jedoch auch gar nicht möglich, wie zum Beispiel bei der Bestimmung von persönlichen Motivationen und Grundbedürfnissen. Ein sehr gute Näherung ist hier in vielen Fällen mehr, als ein Spezialist leisten könnte.

KI-Analysen zur Bestimmung von Motivationen

Sie möchten kommunikative Abläufe optimieren, das Personalmanagement emotional ausgewogener und intelligenter gestalten oder/und ‚einfach nur‘ Texte und Sprache analysieren um produktive Prozesse zu verbessern? Mit den Erfahrungen in der Sprachanalyse auf Basis von Künstlicher Intelligenz kann sense.AI.tion helfen.

Sie wünschen sich eine automatische Klassifizierung von Informationen in Ihrem Datenbestand? Eine automatische Analyse auf Vollständigkeit in Ihren Dokumenten ist für sie wichtig? Gern integrieren wir unsere leistungsfähigen KI-Analysemethoden in Ihre Software-Systeme zur:

  • Klassifikation von Dokumenten
  • Analyse auf Vollständigkeit von Dokumenten
  • Bestimmung von persönlichen Motivationen und Bedürfnissen in Kommunikationen nach TwentyFive
  • Sentiment-Analyse
  • Bestimmung von Lernverhalten / sprachlicher Kodierung VAKOG

Auch die von Ihnen eingesetzte Software kann um Analysen kommunikativer Abläufe und Texte erweitert werden, sprechen Sie mich an: Matthias.Boldt@senseaition.com

Dieser Artikel erschien zuerst auf https://matthias.boldt.org/post/ki-und-persoenlichkeit/

Der Beitrag Künstliche Intelligenzen und Persönlichkeit erschien zuerst auf Sense.AI.tion GmbH.

]]> Aktualisierung Ihrer Software durch KI-Analysen https://senseaition.com/2022/03/07/aktualisierung-durch-ki-analysen/ Mon, 07 Mar 2022 12:41:32 +0000 https://senseaition.com/?p=2126 Eine Software, ist sie erst einmal im Unternehmen eingeführt, wird für lange Zeit betrieben. Ohne die Unterstützung durch Methoden der Künstlichen Intelligenz stranguliert dies den produktiven Teil des Arbeitsprozesses. Diese lassen sich nachträglich "ergänzen"...

Der Beitrag Aktualisierung Ihrer Software durch KI-Analysen erschien zuerst auf Sense.AI.tion GmbH.

]]>

Aktualisierung Ihrer Software durch KI-Analysen

Jedes IT-System hat hin und wieder eine Verjüngungskur verdient

Eine Software, ist sie erst einmal im Unternehmen eingeführt, wird für lange Zeit betrieben. Schließlich ist sie in die Arbeitsprozesse integriert, dokumentiert innerbetriebliche Abläufe und hilft bei der Planung von Vorgängen. Bereits nach kurzer Zeit ist das Software-System nicht mehr aus dem Unternehmen wegzudenken. Bildlich gesehen, schiebt es seine Wurzeln und Verästlungen in jeden Bereich hinein.

Software-Systemen geht es ebenso wie den Menschen: Mit der Zeit kommen sie langsam ”in die Jahre”. Bei einem Wein oder Whisky ist das ein Qualitätsausweis, bei Menschen schleichen sich immer mehr ”Problemchen” ein. Eine Software dagegen wird besser, sie verliert langsam all ihre ursprünglichen Fehler … wenn nicht fortwährend verändert wird. Anwender wünschen sich ständig neue Funktionen und verbesserte Abläufe. Das entspricht heute einfach dem täglichen Erlebnis auf den eigenen Smartphones. Dort sind die Apps einfach intuitiv bedienbar und laufende Updates passen deren Funktionalität an neue Erfordernisse an. Immer mehr Unterstützungen durch Methoden der Künstlichen Intelligenz erhalten Einzug und machen die Nutzung der Apps noch einfacher.

Im Gegensatz dazu sind in einem Unternehmen eingesetzte Software-Systeme nach mehreren Jahren oft nur noch schlecht an die täglichen Anforderungen angepasst. Veränderungen in den Bestandssystemen werden komplizierter und betreffen meist nur Kleinigkeiten. Die praktischen Anforderungen steigern sich unaufhörlich. Es sind mehr und mehr Informationen in der zur Verfügung stehenden Zeit zu verarbeiten. Ohne die Unterstützung durch Methoden der Künstlichen Intelligenz stranguliert dies den produktiven Teil des Arbeitsprozesses. Die beschäftigten Menschen können schlichtweg die Arbeitslast nicht mehr bewältigen, da die Maschinen zu wenig helfen. Ineffizienz, sinkende Produktionszahlen und Demotivation der Mitarbeiter sind die Folge. Ja, ältere Software-Systeme können zu ”lebensnotwendigen Behinderungen” werden: Ohne sie funktioniert die Produktion nicht, mit ihnen immer weniger.

Der Austausch gegen ein neues Produkt ist in den seltensten Fällen eine passende Lösung. Unabhängig vom Preis des neuen Systems ist ein Wechsel mit vielen Unwägbarkeiten verbunden und oft schlecht planbar. Es drohen Unterbrechungen in der Produktion, kostspielige Beratungstage, Verluste bei der Übernahme und Konvertierung der Daten, …

Der Ausweg – Integration, u.a. von KI

Eine bessere Lösung für diese Herausforderung bietet eine Anpassung des Bestandssystems durch externe Erweiterungen. Von den in Unternehmen eingesetzten Software-Systeme verfügen viele bereits über Service-Schnittstellen. Diese gestatten die Anbindung externer Erweiterungen. Ist dies nicht möglich, lassen sich mit RPA (Robotic-Process-Automation) sehr einfach passende Brücken zu diesen bauen. RPA kann die Interaktion der Anwender mit Software simulieren und zusätzliche Verarbeitungen einfügen.

Für eine einfache und kostengünstige Integration von Methoden der Künstlichen Intelligenz in bestehende Software-Systeme existieren praktisch also keine Hürden. Diese können durch Übernahme von Arbeitsschritten die benötigte Zeit reduzieren. Ein Beispiel sind aufwändige Analysen von Daten, Texten oder Kommunikationsabläufen.

Sie möchten kommunikative Abläufe optimieren, das Personalmanagement emotional ausgewogener und intelligenter gestalten oder/und ”einfach nur” Texte und Sprache analysieren um produktive Prozesse zu verbessern? Mit der Integration leistungsfähiger Methoden zur Sprachanalyse auf Basis von Künstlicher Intelligenz ist das möglich. Diese gestatten zum Beispiel eine automatische Klassifikation oder die Untersuchung auf Vollständigkeit von großen Mengen an Texten nach Ihren Vorgaben. Die eingesparte Arbeitszeit könnte dann für die Gestaltung passender Antworten an die Absender der Texte genutzt werden. Auch in diesem Arbeitsschritt kann eine KI-Analyse zur Bestimmung von persönlichen Motivationen und Bedürfnissen helfen, möglichst zeitsparend eine zielführende Antwort zu formulieren.

Die von sense.AI.tion entwickelten Analysemethoden können über eine universelle WEB-Service-Schnittstelle auf die beschriebenen Arten in beliebige Software-Systeme integriert werden und diesen zu einem ”zweiten Frühling” zu verhelfen. Natürlich kann die Integration auch durch sense.AI.tion vorgenommen werden.

Der Beitrag Aktualisierung Ihrer Software durch KI-Analysen erschien zuerst auf Sense.AI.tion GmbH.

]]>