Tipp zum Ausprobieren

Wer mehrsprachige, professionelle Erklär- oder Verkaufsvideos erstellen will, sollte sich die beiden Plattformen synthesia.io und HeyGen genauer ansehen. Während synthesia.io zahlreiche verschiedene menschliche Avatare bietet, welche die gewünschten Texte mit oder ohne Powerpoint-Unterlegung präsentieren, kommt HeyGen für individuelle, auf die eigene Person angewendete mehrsprachige Videos zum Einsatz. Beide Lösungen eigenen sich bestens für professionelle Videos und weisen einen hohen Innovationsgrad auf.

Fine-Tuning – das erweiterte KI-Training

Wir finden heute zwei Arten von KI-Modellen: Vortrainierte und nicht vortrainierte. Während die vortrainierten, deren prominentestes Beispiel OpenAI GPT ist, mithilfe einer schier unermesslichen Zahl an Texten und multimedialen Inhalten aus dem Internet trainiert wurden, vgl. Angewandte AI für Manager – verständlich erklärt, sind die nicht vortrainierten oder “leeren” Modelle darauf angewiesen, dass der professionelle Anwender sie auf die Art von Daten hin kalibriert bzw. trainiert, für welche er das Modell nutzen möchte.

Doch es gibt noch einen Zwischenweg, der die Vorteile beider Ansätze vereint: Fine-Tuning.

Beim Fine-Tuning wird auf ein vortrainiertes Modell wie OpenAI GPT aufgesetzt und dieses dann mit den für den Anwendungsfall relevanten Daten optimiert. Diese Daten können Dokumente sein (PDF, Word, Excel von Sharepoint oder einem Cloud-Speicher wie Box.com usw.), aber auch Daten aus einem ERP-System wie SAP, Netsuite, Xentral, MS Dynamics oder einer beliebigen anderen proprietären Unternehmensdatenbanken.

Die Fine-Tuning Methode erklärt

Fine-Tuning setzt auf dieselben Mechanismen auf, die beim Prompting in Bezug auf die Large Language Modelle (LLM) zum Einsatz kommen. D.h. es wird eine Frage bzw. Aufforderung formuliert (Prompt), der die erwartete Antwort mitgegeben wird (Completion). Somit haben wir es mit Prompt-Completion Paaren zu tun, welche über eine Schnittstelle in das GPT Modell geladen werden.

Da das KI-Modell jedoch auf spezifische Daten hin optimiert werden soll und nicht auf die breite Datenbasis, welche für das Grundtraining verwendet wurde, müssen bei diesen Prompt-Completion Paaren auch die zugrundeliegenden (Unternehmens-)Daten übergeben werden. Folglich wird das Fine-Tuning mithilfe vieler Prompt-Completion Paaren und dem je Paar dazugehörigen Datensatz durchgeführt.

Nach Abschluss des Trainings steht das fine-tuned KI-Modell dem Anwender zur Verfügung. Im Fall von OpenAI wird eine neue API (Link) erzeugt, die sowohl programmatisch als auch über das visuelle Frontend ChatGPT genutzt werden kann. Technisch gesprochen haben wir eine Möglichkeit geschaffen, die eigene Parametrisierung des Modells für unseren Anwendungsfall mit dem Algorithmus des KI-Modells zu nutzen.

Der Erfolg der Optimierung

Fine-Tuning ist besonders dann wirksam, wenn gut entwickelte Prompts und perfekt eingestellte KI-Plattformen um geschäftsspezifische Anwendungsfälle erweitert werden sollen. In einem unserer Fälle haben wir Auftragsdaten von einem bestimmten Inhaltstyp für das Fine-Tuning genutzt, deren Informationen völlig unstrukturiert und verstreut in PDF-Dokumenten vorgelegen haben.

Wir haben dem KI-Modell über das Fine-Tuning mitgeteilt, welche Antworten wir anhand der Daten erwarten würden, und diese Daten in das Fine-Tuning eingeflochten.

Bei der korrekten Zuordnung von Warenpositionsbeschreibungen haben wir die Grundqualität dieser inhaltlich sehr heterogenen Felder von einer 63%igen Erkennungsrate auf 91% erhöht – und das mit nur 4 Fine-Tuning Datensätzen!

Bei der Erkennung von Multistopp-Adressen im Rahmen einer Zustellung wurde eine 78%ige Erkennungsrate auf Feldebene auf 96% erhöht. In beiden Fällen kam das etwas ältere GPT-3.5 Turbo von OpenAI zum Einsatz, weil GPT-4 derzeit noch kein Fine-Tuning unterstützt. Wir erwarten, dass die Erkennungsraten von GPT-4 Turbo noch höher sein werden, wie wir aus anderen Anwendungsfällen ableiten können. Fine-Tuning in GPT-4 ist nur eine Frage der Zeit und für Ende 2024 angekündigt.

Damit ist Fine-Tuning eine lohnenswerte Arbeit, um die KI auf die eigenen Unternehmensdaten zu kalibrieren. Das kann in einer Trainingsphase vor dem Go-Live eines Projektes stattfinden, z.B. durch den Helpdesk, Customer Service oder Spezialisten, aber auch während der Produktivphase, wenn die Genauigkeit (“Accuracy”) noch verbessert werden soll.

Ist Fine-Tuning das Wundermittel?

Nein! Auch im Zuge des Fine-Tunings müssen die Prompts, die für das Fine-Tuning ausgewählten Datensätze, die Modellauswahl sowie ergänzende Maßnahmen wie Interactive Contextual Prompting (“few-shots”, “one-shots”) überlegt und präzise ausgeführt bzw. eingesetzt werden. Stimmt die Grundqualität der Modellbedienung nicht, ist jedes Fine-Tuning ein Glücksspiel.

Retrieval Augmented Generation (RAG) kommt in der Regel ergänzend zum Fine-Tuning zum Einsatz. Darüber werden dynamisch große Mengen mithilfe von Vektordatenbanken und als Embedding (Zahl) präsentierte Unternehmensdaten zur Verwertung an ein GPT-Modell übergeben.

Auch die Ergebnisvalidierung mit diskreten Methoden (z.B. RegEx) oder Lookups (z.B. Plausibilisierung) oder unter Einsatz weiterer, spezialisierter KI-Modellen kommt bedarfsgemäß zur Anwendung.

Gut durchdacht, fachmännisch geprüft und sorgfältig eingeführt lassen sich fine-tuned KI-Modelle perfekt für die Automatisierung aufwändiger Geschäftsprozesse nutzen. Von der Auftragserfassung, über Auftragsplanungen bis hin zur Abrechnung. Der Kreativität sind keine Grenzen gesetzt.

Die “Maschine” übernimmt die repetitiven Aufgaben des Menschen.

Über Business Automatica GmbH:

Business Automatica senkt Prozesskosten durch Automatisierung manueller Tätigkeiten, hebt die Qualität beim Datenaustausch in komplexen Systemarchitekturen und verbindet On-premise Systeme mit modernen Cloud- und SaaS-Architekturen. Angewandte künstliche Intelligenz im Unternehmen ist dabei ein integraler Bestandteil. Zudem bietet Business Automatica auf Cybersicherheit ausgerichtete Automatisierungslösungen aus der Cloud.