Komplexe Zusammenhänge nutzen: GraphRAG als Grundlage für diagnostische Chat-Agenten
Klassische Chatbots liefern per Retrieval-Augmented-Generation (RAG) oft zuverlässige Antworten auf Faktenfragen. Sobald jedoch Ursachen, Abhängigkeiten oder mehrstufige Zusammenhänge verstanden werden müssen, stoßen sie an ihre Grenzen. Gerade diagnostische Fragestellungen, etwa bei der Analyse von Störungen, Problemen oder unerwünschten Entwicklungen, erfordern mehr als semantische Ähnlichkeit zwischen Texten.
Dieser Artikel zeigt, wie GraphRAG strukturierte Wissensgraphen in einer KI-Plattform nutzt, um solche Zusammenhänge explizit abzubilden, was bei der Verwendung von GraphRAG beachtet werden sollte und welche praktischen Grenzen dieser Ansatz hat. Die dargestellten Erkenntnisse basieren auf der Masterarbeit unseres Werkstudenten Steffen Kirchhoff, der sich mit GraphRAG im Kontext diagnostischer Fragestellungen auseinandergesetzt hat.
Wenn semantische Ähnlichkeit nicht genügt
Klassisches RAG basiert auf einem einfachen, aber wirkungsvollen Prinzip: Dokumente werden in Textsegmente zerlegt, als Vektoren repräsentiert und bei einer Anfrage werden jene Passagen hinzugezogen, die inhaltlich am ähnlichsten sind.
Dieses Vorgehen ist effizient und in vielen Szenarien überraschend leistungsfähig. Problematisch wird es jedoch dort, wo relevante Informationen nicht in einzelnen Textabschnitten enthalten sind, sondern sich über mehrere Quellen verteilen. In solchen Fällen entsteht Bedeutung erst durch Beziehungen zwischen Informationen.
Ein Beispiel:
Angenommen, ein Nutzer fragt: „Warum kommt es nach einem Update vermehrt zu Systemabstürzen?“
In der Dokumentation oder einem Ticket-System finden sich unter anderem folgende Informationen, jeweils in getrennten Textabschnitten:
Ein Update hat die Speicherverwaltung verändert
Bestimmte Plugins sind nicht kompatibel mit der neuen Version
Hohe Speicherauslastung kann zu Instabilität führen
Kommentar im Jira-Ticket: “Systemabsturz mit Lösungsweg analog zu Ticket 4711“
Jeder dieser Texte ist für sich genommen relevant, beantwortet die Frage jedoch nur teilweise. Die eigentliche Erklärung ergibt sich erst aus der Beziehung zwischen ihnen:
Das Update verändert die Speicherverwaltung → inkompatible Plugins erhöhen die Speicherauslastung → dies führt unter bestimmten Bedingungen zu Abstürzen. Besonders frustrierend ist der vierte Fall, in dem für Nutzer:innen klar wäre, was zu tun ist: Wir suchen in Ticket 4711 weiter nach der Lösung.
Klassische RAG-Systeme finden zwar einzelne passende Textstellen, modellieren diese Zusammenhänge jedoch nicht explizit. Die Antwort bleibt dadurch fragmentiert, unscharf oder erfordert erhebliche Interpretation durch den Nutzer. Die Frage, warum ein bestimmtes Problem aufgetreten ist, lässt sich daher selten mit einem einzelnen Textzitat beantworten. Sie erfordert das Verknüpfen von Ursachen, Symptomen und Kontextfaktoren – eine Fähigkeit, die klassische RAG-Ansätze nur implizit und mit etwas Glück abbilden, wenn die richtigen Informationen im Kontext landen.
Lösungsstrategie GraphRAG: Struktur als zusätzlicher Kontext
Graph Retrieval-Augmented Generation (GraphRAG) erweitert das RAG-Paradigma um explizite Zusammenhänge. Wissen wird nicht ausschließlich als Text organisiert, sondern zusätzlich in Form von Wissensgraphen modelliert. Dabei werden Entitäten (z. B. Systeme, Komponenten, Symptome oder Maßnahmen) sowie ihre Beziehungen explizit erfasst und in einer Graphdatenbank gespeichert. Beim Retrieval werden nicht isolierte Textfragmente, sondern zusammenhängende Subgraphen abgerufen. Das LLM erhält dadurch nicht nur Informationen, sondern bereits strukturierte Zusammenhänge, was eine wichtige Voraussetzung für mehrschrittige Argumentationen und erklärende Antworten darstellt.
Solche Graphen liegen auch Agentensystemen wie Atlassian Rovo oder dem Microsoft O365 CoPilot zugrunde, bleiben aber dort weitgehend unsichtbar.
LLM-gestützte Wissensgraphen als pragmatischer Einstieg
Wissensgraphen wurden häufig mit aufwendigen Ontologieprojekten und manueller Pflege in Verbindung gebracht. In vielen Organisationen ist dies kaum realistisch: Wissen ist heterogen, unstrukturiert und verändert sich kontinuierlich. Ein zentraler Fokus ist daher die automatisierte Extraktion von Wissensgraphen aus Textdaten, ohne vorgelagertes Ontologie-Großprojekt. Eine LLM-gestützte Wissensgraphextraktion ermöglicht es, große Dokumentbestände automatisiert in erste Graphstrukturen zu überführen und direkt für GraphRAG zu nutzen. Dieser Ansatz senkt die Einstiegshürde erheblich, verlagert den Aufwand aber von der initialen Modellierung hin zur Qualitätssicherung des resultierenden Graphen.
DiagRAG: GraphRAG für diagnostische Fragestellungen
Im Fokus der Arbeit stand nicht die Entwicklung eines weiteren generischen GraphRAG-Frameworks, sondern die gezielte Anpassung an diagnostische Anforderungen. Diagnostische Fragestellungen sind hypothesengetrieben, erfordern mehrere Reasoning-Schritte und verlangen Transparenz in der Herleitung von Antworten. Vor diesem Hintergrund wurde das Diagnostic GraphRAG Framework (DiagRAG) entwickelt. DiagRAG versteht Struktur nicht nur als zusätzlichen Kontext, sondern als zentrales Gestaltungselement für Retrieval und Antwortgenerierung. Dazu zählen unter anderem:
eine Meta-Ontologie-gestützte Wissensorganisation,
Maßnahmen zur Erhöhung der Graphkohärenz,
aufgabenbewusste Traversal-Strategien.
Das System kombiniert die Flexibilität von LLMs mit expliziter, symbolischer Struktur um diagnostische Informationen noch besser verarbeiten und Ergebnisse nachvollziehen zu können.
Der entscheidende Hebel: Graphqualität
Ein zentrales Ergebnis der Arbeit ist eindeutig:
Der Erfolg von GraphRAG hängt maßgeblich von der Qualität des zugrunde liegenden Wissensgraphen ab.
In iterativen Experimenten zeigte sich deutlich:
unnormalisierte Entitäten fragmentieren den Graphen (bspw. verwendete Synonyme oder Abkürzungen),
redundante Beziehungen verschlechtern Retrieval-Ergebnisse (wir finden mehrmals gleiche Zusammenhänge und verbrauchen damit Platz für Neues im Kontext),
ontologische Leitplanken – das Vorgeben von erwarteten Strukturen – erhöhen Konsistenz und Stabilität.
GraphRAG verschiebt den Fokus damit weg von reiner Modellwahl hin zu mehreren, bewussten Design-Entscheidungen in der Wissensorganisation.
Keine automatische Performance-Steigerung durch GraphRAG
GraphRAG ist kein Selbstläufer. In den experimentellen Evaluationen konnte gegenüber einem gut konfigurierten RAG-Baseline-System keine konsistente Steigerung klassischer Performance-Metriken festgestellt werden. Gerade bei kleineren oder moderat vernetzten Wissensbasen liefert klassische Vektorsuche häufig vergleichbare, teils sogar stabilere Ergebnisse. Die zusätzliche Struktur von GraphRAG erhöht zwar die Kontextualisierung, steigert aber auch die Abhängigkeit von Graphkohärenz und bringt zusätzliches Rauschen durch automatische Wissensgraphextraktion mit sich.
Hinzu kommen erhöhte Kosten: Insbesondere LLM-getriebene Wissensgraphextraktion verursacht deutlich höhere Indexierungskosten als klassisches RAG auf Basis von Text-Embeddings. Der Mehrwert von GraphRAG liegt daher weniger in reinen Kennzahlen als in der Fähigkeit, Zusammenhänge explizit darzustellen und Antworten nachvollziehbar zu begründen.
Wissensgraphen als interaktives Designelement: Intuitiv
Zur praktischen Evaluation wurde eine Webapplikation entwickelt, die neben einer Chatoberfläche auch die Interaktion mit dem generierten Wissensgraphen erlaubt. Nutzer können den Graphen explorieren, anpassen und Feedback geben. Als konkreter Use Case dienten die Dokumentationsdaten unserer Atlassian-Apps. Die Evaluation erfolgte über qualitative Expert*innen-interviews.
Screenshot der DiagRAG Webapplikation mit Chatfenster und Quellenverweisen auf der linken Seite und extrahiertem Subgraphen auf der rechten Seite.
Positive Eindrücke:
DiagRAG unterstützt die Lösung diagnostischer Problemstellungen sinnvoll.
Quellenverweise und visualisierte Subgraphen erhöhen die Nachvollziehbarkeit – einzelne Schlussfolgerungen sind nachvollziehbar und abgestützt mit Bezügen in die Wissensbasis.
Die Interaktivität ist insbesondere für Fachexpert*innen wertvoll: Sie hilft bei der Lösungsfindung aber auch beim Pflegen der Wissensbasis.
Limitationen:
Restunsicherheit bei Falschantworten bleibt bestehen (Retrieval vs. Datenlage).
Für den Kern-Use-Case reicht oft eine Chatinteraktion mit Quellenverweisen aus.
Diese Ergebnisse sprechen dafür, Wissensgraphen nicht nur als internes Strukturierungsinstrument, sondern auch als sichtbares Element der Nutzerinteraktion zu betrachten, sofern sie zum Use Case passen.
Fazit: Struktur ist kein Selbstzweck – Die richtige Struktur ist aber schon die halbe Lösung
GraphRAG kann einen echten Mehrwert bieten, wenn komplexe Zusammenhänge verstanden, genutzt und erklärt werden sollen. LLM-gestützte Wissensgraphen ermöglichen einen pragmatischen Einstieg, ersetzen jedoch keine sorgfältige Arbeit an Datenqualität und Struktur. Der entscheidende Hebel liegt im Zusammenspiel aus Wissensorganisation, Retrieval-Strategie und klar definiertem Use Case: Nicht jedes Wissensmanagementproblem ist ein Graph-Problem. Manche Strukturen sind auch in SQL-Datenbanken gut aufgehoben und für KI-Agenten zugänglich.
Dort, wo diagnostisches Denken, Kausalität und Nachvollziehbarkeit im Vordergrund stehen, lohnt sich der strukturierte Blick in diesen Methoden-Werkzeugkoffer. Darüber hinaus lohnt es sich vielleicht, über die Graph-Qualität in den eigenen Datenstrukturen nachzudenken und sie zu fördern, um die Orientierung für KI-Agentensysteme zu verbessern.
