Die viadee-Leistungen zu generativer KI im Überblick

Wir identifizieren und realisieren die Potenziale der generativen KI für Sie.

Die generative KI ist keine “Silver Bullet”, die beliebige Probleme löst. Die Größe dieser KI-Modelle, die nicht-Reproduzierbarkeit von Ergebnissen und die entstehenden Kosten legen es nahe, diesen Innovationsprozess mit viadee-Expert:innen anzugehen, die auch bewährte und leichter steuerbare Methoden beherrschen, um anspruchsvolle Probleme zu lösen. Bei diesem Prozess begleiten wir unsere Kunden, agieren als KI-Ideengeber:innen, Coaches oder setzen Lösungen gemeinsam mit unseren Kunden erfolgreich um.

Technologisch stellen wir uns unabhängig auf, um ohne Interessenskonflikte beraten zu können: Wir helfen bei on-premise Deployments von Gen-AI-Infrastruktur-Anwendungen ebenso wie bei der Erstellung und Nutzung von Cloud-Infrastrukturen für LLMs, sei es bei OpenAI, Azure, Google oder anderen Diensten.

Architektonisch tragen wir gern viadee-typisch auf allen Ebenen zur Lösung bei:

1. Von auf der Infrastruktur-Ebene (bspw. mit skalierbaren LLM-Deployments auf Basis von Kubeflow und MLOps-Praktiken)
2. bis zur Chat-Anwendung mit Retrieval-Augmented-Generation auf ihren eigenen Dokumenten und Datenbanken
3. der Einbettung von GenAI-Funktionen in bestehende Software, um vom Kontextwissen zu profitieren
4. oder bei der Herstellung einer KI-Orchestrierungsplattform über Prozesse und Anwendungsgrenzen hinweg.

Wir schulen darüber hinaus Mitarbeitende zu diesen Themen, technisch und der Perspektive der Gen-AI-Anwenderin und beteiligen uns am gesellschaftlichen Dialog zur sinnvollen Nutzung dieser Technologien und an der Forschung und zeigen Schnittmengen mit anderen Disziplinen und Methoden auf, wie bspw. im Process Mining.

RAG ist eine offensichtliche Idee, die OpenAI treffend als “Prüfung mit offenen Büchern” beschrieben hat. Wir fragen das LLM  der Wahl nicht direkt und hoffen auf eine korrekte Antwort auf Basis des aus dem Internet erlernten Wissens. Stattdessen legen wir eine Reihe von Textfragmenten bei und bitten darum aus den vorliegenden Inhalten (und nur daraus) eine Antwort für eine Frage zu formulieren. Mit diesem Vorgehen bekommt man das Problem der Halluzinationen, frei erfundener Inhalte, weitgehend unter Kontrolle.

Aber wo kommen diese vermutlich relevanten Textfragmente her? Hierzu gibt es mehrere Verfahren, die man auch nach Bedarf mischen kann:

1. Eine bestehende Stichwortsuche – oft bieten unsere Datenquellen schon eine Stichwortsuche an, die wir hier weiterverwenden können.
2. Eine Vektordatenbank – wir verarbeiten ihre Dokumente vor und ermöglichen eine Ähnlichkeitssuche auf Informationsbedarf und Informationsangebot.
3. Ein System mit Abfragesprachen wie SQL – dann reduziert sich die Such-Aufgabe auf die Übersetzung einer Frage in die Abfragesprache und den Rest erledigt ein erprobtes System.

Das kann (integrierte als Blogartikel zum Data-Copilot beschreiben.

Erfreulicherweise gelingt der Wissenszugang dann auch gleich mehrsprachig, sofern des verwendete LLM die Sprache der Fragestellerin unterstützt.

Es gibt weitere Optionen, um die Qualität der Antworten zu verbessern. Bspw. durch ein Re-Ranking, eine Query-Expansion oder die verbesserte Vorbereitung der Quelldokumente.

Ein Verfahren an dem wir besonders viel Freude haben ist das HyQE-Verfahren aus der Master Thesis von Marten Jostmann (2024). Hier leiten wir aus den Quelldokumenten zunächst plausible Fragen ab, für die das Quelldokument die Antwort enthält – wir drehen also das Verfahren um. Diese Fragen speichern wir dann in einer Vektordatenbank für die Ähnlichkeitssuche mit tatsächlichen Fragen, die dann zum richtigen Ergebnis führen. Das steigert nicht nur die Qualität der Ergebnisse sondern kann sehr gezielt eingesetzt werden, um das Wissen für bestimmte Zielgruppen zu erschließen. “Welche Fragen würde meine Zielgruppe hier beantwortet bekommen und wie würde sie die Frage stellen?” Damit können wir auch die Diskrepanz zwischen Endnutzerin und Fachsprache in den Zieldokumenten überbrücken, insb. wenn es um Rechtsprechung und Verwaltungsfragen geht, wie die Thesis am Beispiel der Website über Soziale Teilhabe für Kinder und Jugendliche des LWL zeigt.
Aus der Thesis ist eine Veröffentlichung auf der Wirtschaftsinformatik 2024 entstanden und die Veröffentlichung der Thesis über das ERCIS freut uns auch sehr. Wir bedanken uns bei den Kollegen von der LWL.IT für die gute Zusammenarbeit.

Actions und Agenten: API-Schnittstellen mit natürlicher Sprache ansteuern

LLMs können Funktionen anderer IT-Systeme aufrufen. Technisch steckt wenig mehr dahinter als ein neues, synthetisches Wort zu definieren, das dann für einen bestimmten Informationsbedarf steht. Ein LLM kann im Dialog dann feststellen, dass wir für unsere Reiseplanung eine Wetter-Auskunft brauchen und das per “$WETTER-AUSKUNFT HIER$” kennzeichnen. Diesen Informationsbedarf bemerken wir, decken ihn mit einem Funktionsaufruf und so kann der Dialog sich auf ein Tagesaktuelles Wetter drehen.

1. In der ersten Ausbaustufe wird so die RAG-Idee um dynamische Datenquellen ergänzt, die keine Dokumente im klassischen Sinne sind.
2. In der zweiten Ausbaustufe können wir über Informationsbeschaffung hinaus denken: Ein Agent legt ein Jira-Ticket an oder schließt es, vereinbart Termine oder protokolliert etwas.
3. In der dritten Ausbaustufe findet diese Interaktion nicht mehr in einer “Textwand” statt, sondern integriert in eine Fachanwendung.

Die Stärke und Unumgänglichkeit der Idee wird deutlich, wenn wir uns vor Augen führen, dass viele Interaktionen mit ChatBots damit beginnen, dass wir erklären wer welche Rolle spielt und in welchem Format wir Antworten erwarten. Das gut auszugestalten (“Prompt Engineering”) ist zwar eine nützliche Fertigkeit, für eine menschliche Unterstützung wäre dieses Level von notwendigem Micro-Management und Vergesslichkeit aber völlig inakzeptabel.

Fachanwendungen wissen schon durch den Nutzungskontext sehr viel über die Datensituation und den umgebenden Prozess einer Nutzerin. Diese Chance gilt es als nächstes zu nutzen.

Chatbots und Kontrolle

Ein LLM liefert zunächst nur “plausible” Reaktionen. Für manche Kreativ-Anwendungen reicht das aus, für das Führen von Dialogen mit Endkunden braucht es mehr Kontrolle über den Verlauf von Dialogen über das Prompt-Engineering hinaus.
Bewährtes Muster dazu ist, Chatbots als Prozesse mit kontrollierten Freiheiten im BPMN-Format zu modellieren, wie bspw. die LoyJoy-Plattform (ein Partner-Unternehmen aus Münster) dies ermöglicht. KI-Anwendungen in eine Prozess-Engine wie Camunda einzubetten ist grundsätzlich gute Praxis. Wer schon eine Process-Engine betreibt, gewinnt damit auch Fehlerbehandlung, manuelle Eingriffsoptionen und Protokolle über das Verhalten von Nutzerinnen hinzu – die bekannten BPMN.ai-Muster sind anwendbar.

Ein geordneter Feedback-Prozess sowie geeignete organisatorische Maßnahmen bilden zusammen mit Maßnahmen zur Data Literacy von Nutzerinnen das notwendige Sicherheitsnetz für GenAI-Anwendungen.

Unterstützung generativer KI Ansätze mithilfe von MLOps

Fällt die Wahl auf ein individuelles Modell, ist die tatsächliche Produktivnahme häufig eine große Hürde. Hierbei kann ein MLOps-Prozess mit einer geeigneten Plattform ganzheitlich unterstützen das Deployment durchzuführen und Entscheidungen und die Implementierung nachvollziehbar zu gestalten. Hierbei sind folgende Aspekte von entscheidender Wichtigkeit:

• Welche Modelle gibt es?
• Wie sind sie entstanden?
• Welche Daten wurden verwendet?
• Welche Qualitätssicherungsmaßnahmen und Freigaben sind erfolgt?
• Für produktive Modelle: Wie verändern sich die Aussagen des Modells über die Zeit?

Wer diese Aspekte beachtet, kann mit endlichem Aufwand langfristig von der Nutzung individueller LLMs profitieren. Wer sie nicht beachtet erhält unvorhergesehene Probleme und Schwierigkeiten in der Nachvollziehbarkeit.