Du möchtest bereits im Studium an innovativen IT-Projekten mitwirken, Herausforderungen und Trends der Branche kennenlernen – und dabei Theorie und Praxis verbinden? Dann bist Du hier genau richtig.
Als Studierende:r arbeitest Du an individuellen Softwarelösungen, sowohl für unsere Kunden als auch für interne Zwecke. Dabei erlebst Du praxisnahe Forschung und lernst, wie du Lösungen entwickelst, die echten Mehrwert schaffen. Wir möchten Talente fördern und legen Wert auf Deine persönliche Entwicklung, Wünsche und Fähigkeiten, deshalb gestalten wir im Dialog gemeinsam dein Tätigkeitsfeld.
Motivation
Retrieval-Augmented-Generation-(RAG)-Systeme verbinden LLMs mit (privaten) Wissensbasen, doch ihre Zuverlässigkeit ist schwer und aufwendig zu bewerten. Klassische Evaluationen nutzen manuell gepflegte Goldstandard-Datensätze. Diese Goldstandard-Datensätze vergleichen das Verhalten eines RAG-Systems mit einem erwarteten Verhalten. Solche Goldstandards sind teuer in Erstellung und Aktualisierung und können zudem strukturelle Fragilität verdecken: Modelle können auf Benchmarks sehr gut abschneiden, aber bei beispielsweise Umformulierungen oder Fachjargon scheitern.
Im Kontext von LLMs und RAG-Systemen wurde gezeigt, dass metamorphes Testen automatisch Varianten von Basisanfragen erzeugen kann, welche Konsistenz sowie Korrektheit prüfen. Dadurch steigt die Testabdeckung stark, ohne kontinuierliche manuelle Annotation.
In dieser Arbeit sollen die Möglichkeiten des metamorphen Testens im Rahmen der Qualitätsanalyse und -verbesserung von RAG-Systemen bewertet werden.
Ziel der Arbeit
Zu den Zielen der Arbeit können folgende Punkte zählen:
Metamorphes Testen für RAG-Retrieval evaluieren: Theoretische und praktische Untersuchung von metamorphem Testen zur Bewertung der Retrieval-Robustheit von End-to-End-RAG-Systemen als Ergänzung/Alternative zu statischen Goldstandards.
Domänenspezifische metamorphe Relationen definieren: Komplexe, enterprise-relevante metamorphe Relationen (z. B. Akronym-Erweiterung, Keywordifizierung, zeitliche Verschiebungen, Entity Swaps, Negationen/Quantoren) festlegen und implementieren.
Skalierte Evaluation durchführen: Einen kleinen Basis-Goldstandard als Anker aufbauen und die Erweiterung durch metamorphe Varianten vergleichen.
Fehlerprofile ableiten & gezielte Verbesserungen testen: Anhand von metamorphen Relationen Auswertungen zur Identifikation von Fragilitätsmustern erstellen und prüfen, wie diese als Feedbacksignal für Modellwahl, Retrieval-Konfiguration (z. B. hybrid) oder Promptverbesserung genutzt werden können.
DAS BRINGST DU FACHLICH MIT
Du bist Student:in der Fächer Wirtschaftsinformatik, Informatik, Mathematik oder einem anderen naturwissenschaftlichen oder betriebswirtschaftlichen Studiengang.
Du hast Freude an innovativen Technologien und bringst Programmiererfahrung, idealerweise in Python, und Erfahrung im Umgang mit LLMs mit.
Dedizierte Kenntnisse zu metamorphem Testen sind nicht erforderlich.
& DARÜBER HINAUS
Du bringst die Antrieb mit, dich fundiert mit sowohl technischen als auch fachlichen Aspekten deiner Fragestellung auseinanderzusetzen.
Du möchtest nicht nur fachlich, sondern auch persönlich über dich hinauswachsen.
Du beherrschst die deutsche und englische Sprache in Wort und Schrift.
IT-Unternehmensberatung in Münster, Köln und Dortmund
Seit 1994 beraten wir Unternehmen und Organisationen mit der festen Überzeugung: wo Entwicklung stattfindet, wird Entfaltung möglich. Wir verstehen Entwicklung mehrdimensional: technisch, systemisch, organisational und persönlich. Unsere Kund:innen beraten wir ganzheitlich, strategisch wie operativ - je nach Fragestellung und Notwendigkeit. Uns zeichnet tiefgreifendes Fachwissen aus, das wir mit einer fairen und empathischen Haltung in jeglicher Beziehung verbinden.
Wir sind technologisch unabhängig und 100% Eigenkapital-finanziert.
Unsere Beratung basiert auf nachhaltigen, vertrauensvollen Partnerschaften auf Augenhöhe.
Wir arbeiten methoden- und technologieorientiert, nicht (nur) branchenfokussiert.
Wir begleiten Projekte von der Strategie bis zur Umsetzung.
Du denkst, wir sollten uns kennenlernen?
Bist Du bereit, die viadee mit Deinem Know-How und Deiner Persönlichkeit zu bereichern? Wir freuen uns darauf, Dich kennenzulernen.
Gefragt, geantwortet: unsere FAQs
Was hybrides Arbeiten, Workation und kompetenzbasiertes Wachstum für uns bedeuten, was das Eventformat Ship it-Day ist und noch mehr Antworten auf Deine möglichen Fragen gibt’s in unseren ausführlichen FAQs.
Unser Bewerbungsprozess erfolgt in diesen Schritten:
Deine Bewerbung geht ein – bevorzugt via Formular, alternativ per E-Mail
Wir sichten Deine Unterlagen und melden uns, um ggf. vorab telefonisch mögliche Rahmenbedingungen zu klären oder aber direkt mit einem Feedback – und das schnellstmöglich
Wenn uns Deine Unterlagen überzeugen, folgt ein persönliches Kennenlernen in Form eines Erstgesprächs zu dritt – mit Zweien von uns und Dir.
Weil doppelt besser hält, folgt, sofern beide Seiten im Erstgespräch voneinander überzeugt sind, mit zwei anderen Kolleg*innen ein Zweitgespräch.
Ist es ein Match? Dann geht’s nur noch um die Formalien und die Vertragsgestaltung.
(D)einen optimalen Start gestalten wir mit unserem Onboarding-Prozess.
Na klar, Quereinsteiger:innen sind bei uns ebenso willkommen wie Expert:innen und Spezialist:innen. Dafür gibt’s bei uns zahlreiche Beispiele. Zwei Kolleginnen sind Laura und Stefanie. Sie sind Quereinsteigerinnen in der IT-Beratung. Ihre Erfahrung teilen sie hier:
→ Interview mit Stefanie Schuster
→ Video mit Laura
Auf jeden Fall. Außerdem oder alternativ hast Du die Möglichkeit, uns eine Initiativbewerbung zu schicken – zum Beispiel, wenn Du unsicher bist, ob und wenn ja, welches Profil am besten zu Dir passt. Lass’ uns im Rahmen Deiner Initiative wissen, was Dich motiviert und wir finden im Dialog die passende Position.
Die Erfahrung und eine Befragung unserer potenziellen Bewerber:innen und Mitarbeiter:innen zeigt: ein Formular ist der einfachste und unkomplizierteste Weg – für alle Beteiligten. Denn sowohl Du als auch wir stellen via Formular sicher, dass alle benötigten Informationen vorliegen.
Das kommt für Dich nicht infrage? Dann schick uns gerne eine E-Mail mit deinen Unterlagen an: karriere@viadee.de
Das ist möglich. Wenn wir aber die Wahl haben, gehen wir am liebsten live in den Austausch mit Dir. Wenn es die Umstände erfordern, geht’s natürlich auch digital. Mindestens eines der zwei Bewerbungsgespräche möchten wir gerne vor Ort bzw. persönlich führen.
Ja, Dein Einstieg ist geregelt. Unter anderem steht Dir für einen vielversprechenden Start und (hoffentlich) alle Antworten auf deine Fragen in der Anfangszeit, ein Buddy in den Startlöchern. Alle weiteren Infos zum Einstieg und Onboarding bei der viadee gibt’s hier.
