Spatio-B-RAG

Projektbeschreibung

Das Vorhaben Spatio-B-RAG konzentriert sich auf die Entwicklung eines Retrieval-Augmentation-Generators (RAG), der domänenspezifisches, räumliches Wissen nutzt, um prädiktive Schadensbeurteilungen von Brückenbauwerken zu ermöglichen. Durch die Verknüpfung heterogener, multimodaler Daten wie Inspektionsberichte, Baupläne, Fotodokumentationen und Punktwolken in einem räumlichen Kontext wird ein dynamisches Wissenssystem geschaffen. Ausgangsbasis sind die räumlich annotierten Wissensgraphen als Ergebnis des RaumLink Projektes, in denen mithilfe der ReLoc Ontolgogie semistrukturierte Brückeninspektionsdaten der SIB-Bauwerke Datenbank auf Grundlage der Anweisung Straßeninformationsbank, Teilsystem Bauwerksdaten (ASB-ING) entwickelt und an der Referenzbrücke in Worms erprobt wurden. Diese dienen als Trainingsdaten für domänenspezifische RAGs für Bauwerksmodelle. Der RAG wird mithilfe von symbolischen und subsymbolischen Methoden, darunter Named Entity Recognition (NER) mit BERT, multimodale Modelle wie VisualBERT und LXMERT sowie Graph Neural Networks (GNNs), entwickelt, um text-, bild- und 3D-Daten effektiv zu verarbeiten. Die Integration räumlicher Relationen und domänenspezifischer Ontologien ermöglicht es, die Informationen effizient abzurufen und als Grundlage für Prognosen und Instandhaltungsentscheidungen zu nutzen.