RETRIEVAL-AUGMENTED GENERATION – GRUNDLAGEN, ANWENDUNGEN UND INFRASTRUKTUR

In einem sehr kompakten und faszinierenden Vortrag erklärte Malte Dreyer die RAG-Technik. Sprachmodelle mit externen Wissensquellen wie Dokumenten, Datenbanken oder Wikis zu verbinden. So können sie zur Laufzeit passende Informationen abrufen und darauf gestützte, aktuellere Antworten formulieren – ohne erneutes Training. RAG kann typische Grenzen reiner Sprachmodelle wie Halluzinationen, veraltetes Wissen und begrenzte Kontextfenster abmildern.

Anhand verschiedener Verfahren, darunter die Kombination von Vektorsuche mit klassischer BM25-Suche sowie RAPTOR, wurden unterschiedliche Ansätze für den Abruf relevanter Inhalte gezeigt. Außerdem ging es um agentische Erweiterungen, etwa Web-Abfragen, Datenbankzugriffe und die Kombination spezialisierter Modelle. Als mögliche Einsatzfelder nannte die Präsentation Verwaltung, Lehre und Forschung.

Abschließend wurde betont, dass ein zuverlässiger RAG-Chatbot nicht allein von der Suchmethode abhängt: Entscheidend sind auch sorgfältige Datenaufbereitung, passendes Chatbot-Verhalten, Qualitätssicherung sowie fortlaufende Governance und Datenpflege.

Im Vortrag zeigt Herr Dreyer zahlreiche Simulationen, die gerne von den Veranstalterinnen weitergegeben werden. Bitte per Mail erfragen.