HFT TransferBot

Gesamtziel des Projekts ist die Entwicklung und Beforschung eines ChatBots für die Hochschule für Technik Stuttgart am Beispiel eines TransferBots für den Transfer und die Vermittlung von Wissenschafts- und Forschungsergebnissen der HFT Stuttgart. Im Hinblick auf diesen Anwendungszweck werden vorhandene Large Language Models (LLMs) und ihre Parametrisierung validiert, die relevanten Daten aggregiert und vorbereitet sowie der TransferBot in einem Prototyp realisiert und evaluiert.

1. Validierung vorhandener LLMs im Hinblick auf ihre Eignung und Ermittlung einer geeigneten Parametrisierung für die Anwendung als TransferBot auf der Homepage der HFT Stuttgart
2. Auswahl und Aggregierung der relevanten Daten (u.a. von der Homepage, aus dem Forschungsmanagement usw.) in Kooperation mit den entsprechenden Expert:innen an der Hochschule und Aufbereitung in einer geeigneten Datenbank
3. Implementation eines lauff?higen Prototyps, dabei Experimente mit lizenzbasierten, frei verfügbaren und ggf. auch selbst betriebenen Sprachmodellen,
   verschiedenen Aufbereitungsmethoden für die abzudeckenden Informationen und verschiedenen Prompting-Strategien
4. Evaluation des TransferBots im Hinblick auf Richtigkeit und Abdeckung der Antworten
5. Praxisfeste Erstellung der als n?tig identifizierten technischen Ressourcen (Wissensdatenbank, ggf. LLM-Betrieb) und Einbindung des TransferBots in die Homepage der HFT Stuttgart

ChatBots auf Grundlage der neuesten technischen Entwicklungen im Bereich der gro?en Sprachmodelle (Large Language Models) versprechen einen niederschwelligen Zugang zu Informationen. 
Im Gegensatz zu vorgegebenen Texten z. B. auf einer Projekthomepage oder einer Schlagwortsuche formulieren LLMs anpassungsf?hig und individuell ma?geschneiderte Antworten auf die Anfragen der Anwender:innen. 
So bietet sich die Technologie auch dafür an, als zus?tzlicher Kommunikationskanal Forschungsergebnisse inhaltlich und technisch leicht zug?nglich in die Wissenschafts- und Zivilgesellschaft zu transportieren, wie an der HFT Stuttgart angestrebt.

Eine wichtige Herausforderung bei der Entwicklung eines solchen TransferBots ist die Tendenz von LLMs, Informationen zu halluzinieren und dabei so glaubwürdig zu pr?sentieren, dass die 
Fehlinformationen nicht auf den ersten Blick erkennbar sind. Ein solcherart halluzinierender TransferBot w?re selbstverst?ndlich kontraproduktiv. Daher w?hlen wir die Herangehensweise der Retrieval Augmented Generation (RAG), bei der in einem vorgeschalteten Schritt relevante und verl?ssliche Informationen identifiziert werden und das LLM nur noch die Aufgabe hat, diese Informationen flüssig und verst?ndlich darzubieten. 
Die RAG-Herangehensweise sorgt nicht nur für inhaltlich korrekte Ausgaben des TransferBots, sondern sichert ihn auch weitestgehend gegen b?swillige Versuche ab, mittels der Prompt-Injection-Strategie durch fingierte Anfragen sachfremde oder anst??ige Inhalte generieren zu lassen, da zu diesen Anfragen natürlich keine Informationen in der vertrauenswürdigen Datensammlung vorliegen. 
Die Auswahl und Aufbereitung der verl?sslichen Dokumente ist daher für die Qualit?t der Ausgaben wichtig und wird empirisch ermittelt.

Eine weitere wichtige ?berlegung ist die Provenienz und Qualit?t des verwendeten LLMs. Lizenzbasierte Modelle sind garantiert qualitativ hochwertig und unaufw?ndig einzubinden,
verursachen aber laufende Kosten und sind aus Sicht des Daten- und Wissensschutzes fragwürdig. 
Daher soll m?glichst ein frei verfügbares (Open-Source-)LLM genutzt werden, das an einem vertrauenswürdigen Ort betrieben werden kann (ggf. auch von der HFT Stuttgart selber).
Die genaue Herangehensweise wird hier in einem Qualit?tsvergleich (z.B. durch extrinsische Evaluation von Modellreaktionen auf Useranfragen) ermittelt.

Belastbares Wissen über die Qualit?t der betrachteten LLMs und über eine günstige Parametrisierung eines ChatBots im Kontext des geplanten Anwendungsfalls wurde gewonnen.
Die grundlegende Datenbank wurde erstellt und mit relevanten Daten befüllt; ein verbindlicher Anforderungskatalog zur weiteren Datenerhebung wurde abgeleitet.
Ein Prototyp wurde entwickelt und seine Verl?sslichkeit wurde evaluiert. Der Prototyp wurde in die Homepagestruktur der HFT Stuttgart eingebunden.