KINOTE 01.2022

62 01 | 2022 Hinzu

62 01 | 2022 Hinzu kommt, dass – ähnlich wie bei der Kommunikation von Mensch zu Mensch – der Frage-Antwort-Vorgang schnell abläuft und in einen Kontext eingebettet ist. Weitere potenzielle Hürden für eine KI-Instanz sind Fachbegriffe, mehrdeutige Fragen sowie Aussagen und Wörter, die der Umgangssprache oder einem Dialekt entlehnt sind. Um solche Herausforderungen zu meistern, kommen bei Conversational AI komplexe Modelle für die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und aufwendige Trainingsverfahren zum Einsatz, meist mit Milliarden unterschiedlicher Parameter. Das Training der Modelle erfordert Hochleistungsrechner mit leistungsstarken Grafikkarten (GPUs, Graphics Processing Units). GPUs sind deshalb erforderlich, weil sie auf Vektor- und Matrixberechnungen spezialisiert sind und diese – anders als normale Prozessoren (CPUs) – zudem parallel ausführen können. Wie Sprache verarbeitet wird Der Weg von der Spracheingabe eines Bankkunden bis zur Antwort des KI-Systems beziehungsweise Chatbots umfasst drei Schritte. Der erste ist die automatische Spracherkennung (Automatic Speech Recognition, ASR). Sie wandelt gesprochene Wörter in lesbaren Text um. Das erfolgt mithilfe von Deep-Learning-Modellen. Kommen dabei Grafikprozessoren zum Einsatz, erfolgt dieser Vorgang um ein Vielfaches schneller als mit CPUs. Während des Trainingsvorgangs wird das Deep-Learning-Modell mit Datensätzen „gefüttert“, die hunderte Stunden von Audioinformationen und deren Transkriptionen in der Zielsprache umfassen – etwa Deutsch oder Englisch. Im zweiten Schritt kommen Natural Language Processing (NLP) beziehungsweise Natural Language Understanding (NLU) zum Zug. Diese Technologien ermöglichen es der Conversational-AI-Anwendung, den Kontext der Texteingabe zu erkennen und eine passende Antwort zu formulieren – und zwar in der gewünschten Sprache. Dabei kommt ein weiteres Modell zum Einsatz, beispielsweise BERT (Bidirectional Encoder Representations from Transformers), das für die Bearbeitung von natürlicher Sprache mit Machine-Learning- Algorithmen optimiert wurde. Das Training von BERT lässt sich beschleunigen, wenn vortrainierte Modelle und GPUs verwendet werden. NLP-Modelle können sowohl für die Verarbeitung von sprachlichen als auch von textbasierten Informationen (zum Beispiel E-Mails) zum Einsatz kommen. Zum Abschluss wird die Antwort auf eine Frage, die die NLU in Textform erstellt hat, in natürliche Sprache umgewandelt (Text-to-Speech, TTS). Das erfolgt mithilfe von Deep Learning und neuronalen Netzen, damit die Sprachausgabe der eines Menschen gleicht. Entwickler können auch bei diesem Schritt auf vortrainierte Modelle zurückgreifen, um Zeit zu sparen. Solche Modelle stehen beispielsweise über Software-Hubs zur Verfügung. Außerdem empfiehlt es sich, Software Development Kits (SDK) einzusetzen, die für Grafikprozessoren optimiert sind. Das verkürzt die Zeit, bis ein Entwickler eine Conversational-AI-Anwendung fertiggestellt hat. Nicht nur die Trainings aller drei Modelle werden durch den Einsatz von GPUs beschleunigt, sondern auch das sogenannte Inferencing – sprich die Verarbeitung des Wissens aus den trainierten Datensätzen, um neue Aussagen bzw. Schlussfolgerungen zu treffen. Herausforderung: NLP-Modelle für mehrere Sprachen Eine der Herausforderungen bei Conversational AI besteht darin, dass Banken und Finanzdienstleister NLP-Modelle für mehrere Sprachen vorhalten müssen. Das ist vor allem für solche Institute von Belang, die in mehreren Sprachräumen tätig sind. Wünschenswert ist beispielsweise, wenn ein Kreditinstitut textba-

01 | 2022 63 sierte Chatbots oder Sprachassistenten für Deutsch, Englisch, Spanisch und Chinesisch zur Verfügung stellt. Derzeit sind jedoch NLP-Modelle vorzugsweise für Englisch verfügbar. Das gilt auch für Versionen, die für spezielle Branchen entwickelt wurden. Ein Beispiel ist sciBERT für Ingenieure, ein weiteres FinBERT für den Finanzsektor. Glücklicherweise lassen sich solche Modelle mit überschaubarem Aufwand für neue Sprachen konstruieren. Es ist somit nicht notwendig, das Modell komplett neu zu entwickeln. Entwickler von Conversational-AI-Anwendungen für den Finanzsektor stehen jedoch vor einer weiteren Herausforderung: Die NLP-Modelle, die solchen Applikationen zugrunde liegen, werden immer komplexer. Außerdem steigt die Zahl der Datensätze, die für deren Training herangezogen werden. Es ist absehbar, dass NLP-Modelle künftig mehrere Billionen Parameter umfassen. Eine vergleichbare Entwicklung bahnt sich auch in der automatischen Bilderkennung an. Ein Grund hierfür ist, dass dadurch die Genauigkeit und Leistungsfähigkeit der Modelle und damit der Anwendungen steigt. Außerdem lässt sich ein großes Modell einfacher und mit geringeren Kosten an unterschiedliche Aufgaben anpassen. Für die Entwickler von solchen Applikationen bedeutet dies jedoch, dass sie für das Training von umfangreichen, lokalen Sprachmodellen Grafikprozessoren (GPUs) mit einer deutlich höheren Rechenleistung und einem größeren Arbeitsspeicher benötigen. Selbst Server mit mehreren GPUs brauchen für das Training komplexer Modelle mehr als einen Monat. Das ist nicht akzeptabel. Einen Ausweg bieten Tools, die den Entwicklungsprozess von großen Sprachmodellen vereinfachen. Auf das Hard- und Software-Angebot achten Zusätzlich erfordert Conversational AI eine leistungsstarke und skalierbare Rechnerbasis, die für die Entwicklung von KI-Algorithmen und das Training von Modellen optimiert ist. Hier kommen vor allem Systeme von Anbietern in Betracht, die sowohl über Know-how im Bereich KI verfügen als auch spezielle Grafikprozessoren und Komplettlösungen zur Verfügung stellen können. Wichtig bei der Auswahl eines Anbieters ist, dass er über skalierbare Lösungen verfügt. Möchte beispielsweise eine Bank einem wachsenden Kundenkreis virtuelle Assistenten zur Verfügung stellen, darf das nicht mit einem Systemwechsel verbunden sein. Außerdem sollten Interessenten einen Blick auf das Software-Angebot werfen. Idealerweise enthält es nicht nur Entwicklungstools, sondern auch vortrainierte Modelle für spezielle Anwendungen im Bereich Conversational AI. Das verkürzt die Entwicklungszeiten und schont das Zeitbudget der Fachleute, die in solche Projekte involviert sind. So faszinierend der Einsatz von KI und Machine Learning im Finanz- und Bankenbereich auch ist, entscheidend ist letztlich, welchen Nutzen diese Technologien bringen. Ein Vorteil von Conversational-AI-Anwendungen wie Chatbots und Sprachassistenten im Finanzsektor ist der verbesserte Kundenservice. Routineanfragen wie „Ich habe meine Kreditkarte verloren. Wie kann ich sie sperren lassen?“ können schneller und effizienter beantwortet werden, und zwar ohne Mitwirkung eines Mitarbeiters und zudem rund um die Uhr. Eine KI-Instanz kann Tausende solcher Anfragen parallel bearbeiten und in Sekundenschnelle beantworten. Weitere