Alle Bilder und auch Daten, die durch Sensoren erfasst werden, können in eine digitale Repräsentation überführt werden. Dabei werden aus den Echt-Welt-Daten digitale Zwillinge generiert, die als Grundlage für etliche digitale Anwendungen dienen. In unserer Forschungsarbeit konzentrieren wir uns dabei auf die Felder Fernerkundung (Remote Sensing) und semantische Rekonstruktionen ebenso wie auf Lösungen für den Bereich der inklusiven Digitalisierung sowie dem Medizinsektor.
Fernerkundung
Fernerkundung ("Remote Sensing") bezieht sich auf Informationen über Orte oder Objekte, die physisch schwer zugänglich sind. Zu den Szenarien gehören Felswände oder Gebäudefassaden, die per Drohnenflug fotografiert werden, sowie Kontinente oder ferne Planeten, die aus Satellitendaten rekonstruiert werden. Wir entwickeln Lösungen, die Fernerkundungsmethoden an unterschiedliche Anforderungen anpassen. Unsere Forschungsergebnisse reichen von der interaktiven Visualisierung der Marsoberfläche für die Planetenforschung/Raumfahrt bis hin zur Generierung von BIM-Modellen aus Scans bestehender Strukturen. Der innovative Brückenschlag zwischen Datenerfassung und semantischer Modellierung ist uns wichtig.
Semantische Rekonstruktion
Im Feld der semantischen Rekonstruktion arbeiten wir u.a. daran, effiziente Wege zu finden, mit Computer Vision Algorithmen und Machine Learning Gebäude oder andere Objekte auf Bildern automatisch zu segmentieren und zu klassifizieren, um sie anschließend "intelligent" als dreidimensionales Modell zu rekonstruieren. Das heißt, dass z.B. das 3D-Modell eines Hauses selbst "erkennt", wo seine Wände, Türen, Fenster und so weiter sind. Wir optimieren hier zum einen semi-automatische Ansätze, die vom Benutzer gesteuert werden, und arbeiten zum anderen an der Entwicklung vollautomatischer Methoden.
Inklusive Digitalisierung
Um die Museen der Zukunft barrierefrei zu gestalten, forschen wir seit vielen Jahren intensiv im Bereich der inklusiven Digitalisierung nach IT-basierten Lösungen, mit denen bildende Kunst für alle Zielgruppen "sichtbar" gemacht werden kann. Hierfür haben wir unter anderem eine spezielle Visualisierungssoftware entwickelt, die aus 3D-Scans oder Fotografien von Museumsobjekten ein digitales 2.5D-Modell erstellt, das mithilfe eines innovativen Fräsverfahrens in ein taktiles Relief überführt werden kann, das Höhen, Tiefen, Oberflächenstrukturen etc. haptisch erfahrbar macht – und dadurch Museen für das 21. Jahrhundert rüstet.
Rekonstruktion im Medizinsektor
Für die effiziente Weiterverwendung und Analyse von Daten aus bildgebendenden Verfahren im medizinischen Bereich erforschen wir innovative Wege, um mit Hilfe von maschinellem Lernen und speziell entwickelten Algorithmen bestimmte Bildinhalte wie Wirbel, Tumore oder Organe automatisch zu segmentieren. Dies ist eine wichtige unterstützende Maßnahme im Diagnoseprozess und dient auch als Grundlage für Rekonstruktionen z.B. von Volumendaten.
Photogrammetrie
Wir unterhalten eine hochpräzise, groß angelegte PHOTOGRAMMETRIE-Pipeline, die bildbasierte Tools und Arbeitsabläufe bereichert. Unsere hochmodernen Algorithmen, die speziell für die Geländerekonstruktion aus Drohnenflügen entwickelt wurden, finden in einer Reihe von Anwendungsfällen Anwendung. Wir ergänzen Laserscans mit präzise registrierten Detailfotos, verwenden Foto-Stitching, um hochauflösende Orthofotos zu erzeugen, und bieten Vergleichsansichten eines rekonstruierten Gebiets im Zeitverlauf. Unsere modulare und wiederverwendbare Implementierung lässt sich gut mit den kommenden Innovationen im Bereich des kostengünstigen Scannens und der KI-gestützten Rekonstruktion kombinieren.
NeRFs
Neuronale Strahlungsfelder (NeRFs) sind eine neuere KI-Methode zur Erstellung neuer Ansichten aus einer Reihe von Bildern eines Objekts. Da sie als Grundlage für die semantische Rekonstruktion verwendet werden können, haben wir eine Reihe von Experimenten durchgeführt. Wir haben die Rekonstruktionsergebnisse verschiedener Aufnahmeverfahren, Bildgrößen, Beleuchtungsbedingungen und den Einfluss von Tracking-Fehlern untersucht. Wir werden verschiedene State-of-the-Art-Methoden weiter untersuchen und Erweiterungen entwickeln, die spezifische Probleme unserer Anwendungsfälle adressieren.
Informationsextraktion aus technischen Zeichnungen
Technische Zeichnungen ("Engineering Drawings") enthalten wertvolle Informationen für eine Reihe von Anwendungsfällen in der Fertigung. Unser Ziel ist die Entwicklung einer vollautomatischen Pipeline für das Verstehen von technischen Zeichnungen und die Entitätsextraktion, da unsere Partner große Mengen an digitalisierten technischen Zeichnungen verarbeiten müssen, um das Potenzial der dargestellten Teile für die additive Fertigung (3D-Druck) zu analysieren. Wir setzen bildbasierte KI-Methoden ein, um Entitäten wie Objektgrenzen, Textfelder und Abmessungen zu extrahieren, und führen eine geführte optische Zeichenerkennung durch, um wichtige Textinformationen wie Materialien, Skalen oder numerische Werte zu finden. Die logische Kombination dieser Schritte ermöglicht es uns, die notwendigen Informationen zu rekonstruieren, um das Potenzial zur additiven Fertigung der jeweiligen Teile in einer interpretierbaren Weise zu analysieren.
Baustellen sind hochdynamische Orte. Umso wichtiger ist eine vollständige, aber auch praktikable Dokumentation. Um Abläufe im Tiefbau automatisch in 3D zu erfassen, untersuchen VRVis und rmDATA im Rahmen von „AI5production“, ob Mobilgeräte mit LiDAR und hochauflösenden Kameras hierfür geeignet sind.
Baustellendigitalisierung: VRVis und clone:it automatisieren die Bewehrungsabnahme und Bewehrungsdokumentation.
Bei Bauprojekten laufen 2D-Pläne, 3D-Pläne, Rekonstruktionen oder Echtweltdaten parallel, ohne miteinander verknüpft zu sein. Diese Brücke schlagen nun VRVis und PlanRadar mit einer mobilen AR-Trackinglösung, dem Projekt Onsite-AR.
Mithilfe des 3D-Drucks ("Additive Manufacturing") können Ersatzteile für schadhafte Züge schneller und günstiger hergestellt werden - ein großes Potenzial für die klimaschonende Zukunft und kürzere Ausfallzeiten.
Das Forschungsziel von AMASE ist die Entwicklung von Werkzeugen und Methoden zur Aufnahme, Verarbeitung, Visualisierung und Manipulation heterogener, großräumiger Geodaten, bei welchen es sich um die ständig aktualisierte Darstellung der realen Welt in Form eines sich entwickelnden digitalen Zwillings handelt.
Das Ziel des strategischen Projekts ARCS ist der Entwurf von Software-Architekturen, die interaktive Visualisierungssysteme in die Lage versetzen, große Mengen und Geschwindigkeiten räumlicher und damit verbundener nicht-geometrischer Daten aufzunehmen.
Gemeinsam mit Rhomberg Bau GmbH und convex ZT GmbH entwickelt das VRVis ein Konzept für den Einsatz des Roboterhundes "Spot" von Boston Dynamic für eine autonome, immersive Baustellendokumentation.
WIBSTAC befasst sich mit der Nutzung von 3D-Stereo-Rekonstruktionen mit großem Durchmesser für die Kartierung der Marsoberfläche über mittlere und große Entfernungen basierend auf Bildern der Rover-Panoramakameras.
Im Projekt INDIGO arbeiten Forschende daran, die Graffitis am Wiener Donaukanal systematisch zu dokumentieren. Anhand von Fotos erstellen sie einen digitalen Zwilling der Wände. Das VRVis unterstützt das Projekt aktuell mit seiner technologischen Expertise.
Dank Tiefenkameras keine blinden Flecken auf Zugdächern.
Im Forschungsprojekt Lightbox 2.0 wird die Entwicklung eines photogrammetrischen 3D-Scanners für die automatische und Deep Learning-gestützte Modellierung von Schlüssel vorangetrieben.
In diesem Projekt werden Werkzeuge und Methoden zur Handhabung, Verwaltung, Manipulation und Bewertung mehrerer unterschiedlicher Datenquellen für Messungen und Lichtplanungen entwickelt.
Barrierefreier Zugang zu Kunst und Museen für blinde und sehbehinderte Menschen durch 3D-Technologie.
Strategische Forschung in skalierbarem, semantischem Rendering.
Untersuchung von Techniken, die eine nahtlose Analyse von Ensemble-Daten mit mehreren Detaillierungsgraden ermöglichen.
Algorithmen zur Verbesserung der visuellen Analyse von Oberflächenrekonstruktionen.