LAVIS (Learning and Visual Systems)

AI-FORCAST

Wälder spielen eine entscheidende Rolle bei der Minderung der Auswirkungen des Klimawandels, indem sie als Kohlenstoffsenken fungieren, die atmosphärisches Kohlendioxid absorbieren und speichern. Im Einklang mit den Initiativen des Kyoto-Protokolls können Länder mit positiver Kohlenstoffbilanz ihre Kohlenstoffguthaben an andere Nationen verkaufen. Die Grundlage dafür ist jedoch eine genaue Bewertung der Kohlenstoffvorräte der Wälder, die fundierte Entscheidungen ermöglicht und die Formulierung gezielter Konservierungs- und Wiederherstellungspläne ermöglicht. Traditionelle Methoden zur Bewertung des Kohlenstoffs in Wäldern beruhen bislang in der Regel auf arbeitsintensiven Feldmessungen und komplexen Modellierungstechniken, die mit hohem Zeit- und Ressourcenaufwand einhergehen. AI-FORCAST untersucht eine vielversprechende Alternative, indem es verschiedene Fernerkundungstechnologien und maschinelles Lernen kombiniert: Satellitenbilder, LiDAR-Daten und bodengestützte Sensorsysteme liefern Daten, anhand derer Methoden des Deep Learnings hochauflösende räumliche Informationen über die Struktur und Zusammensetzung der Wälder schätzen können. Hierdurch sollen Kohlenstoffvorräte in einem viel größeren Maßstab, schneller und genauer geschätzt werden können. Der Forschungsfokus von AI-FORCAST liegt auf neuartigen Lösung zur Integration von Fernerkundungsdaten mit feldbasierten Stichprobeninventaren von Waldflächen, was die Kartierung umfangreicher Waldgebiete mit größerer Genauigkeit und Abdeckung ermöglichen soll.

AI-FORCAST wird in Kooperation mit der National University of Sciences and Technology (NUST) in Islamabad / Pakistan durchgeführt. Das Projekt wird durch den Deutschen Akademischen Austauschdienst (DAAD) gefördert.

ATRIUM

In this R&D project, a new framework will be developed with which the simulation and visualization of various bulk materials can be carried out in real time. In contrast to current simulation methods, a new data-based approach will be used, where the behaviour of the bulk material is predicted with the help of AI instead of being calculated on the basis of physically motivated equations. Using the results from classical calculations, training data is generated and a suitable regression model is developed to train a convolutional neural network to predict the simulation results. This promises a considerable acceleration of the simulation calculation. The saved computing power is then used to achieve a more detailed and realistic visualization or to enable certain simulations even on less powerful devices.

ATRIUM wird durch das Zentrale Innovationsprogramm Mittelstand (ZIM) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

Code Buddy

Mit Code Buddy soll ein neuartiges KI-System entstehen, welches für Softwareentwickler die Rolle eines Progammier-Partners einnimmt: Code Buddy empfiehlt automatisch vorhandene Lösungen aus der Software-Community – sei es von Kollegen, aus Frage-Antwort-Foren, oder aus Open-Source-Projekten – und adaptiert diese falls geeignet direkt. Um dies zu realisieren, besteht der Forschungsbeitrag in einem neuartigen KI-Ansatz, dessen Training auf großen Datenmengen von Open-Source Code erfolgt. Da keine Daten vorliegen, welche Code-Stellen füreinander relevant sind, wird ein spezieller unüberwachter Ansatz entwickelt, in dem ein neuronales Netz – bestehend aus einer Suchkomponente und einer Generatorkomponente – autonom lernt, zum Füllen von Lücken hilfreiche Code-Passagen zu finden. Wissenschaftliches Kernergebnis ist die Exploration dieses – für die Softwareentwicklung neuartigen – Ansatzes, sowie seine Erprobung in Kooperation mit einem mittelständischen Software-Unternehmen.

Code Buddy wird in Zusammenarbeit mit dem Firmenpartner AOE GmbH durchgeführt. Das Projekt wird durch das Hessische Ministerium für Wissenschaft und Kunst (HMWK) gefördert.

DeepLearningCargo

The DeepLearningCargo project will primarily contribute to basic research in the area of AI generalization and explainability. However, in the orientation of its scientific research design for hypothesis testing, it will take up aspects from the areas of Aviation Next Generation, logistics, mobility and digital transformation. In this respect, the project addresses central topics of the HOLM research agenda.

Dieses Projekt wird im Rahmen des House of Logistics and Mobility (HOLM) / Innovationsförderung des Landes Hessen gefördert.

DeepWeather

Numerische Wettermodelle berechnen den zukünftigen Zustand der Atmosphäre zu bestimmten Zeitpunkten, indem sie den auf Basis von Messungen und Sonden-Aufstiegen ermittelten Ist-Zustand durch Lösen von komplexen, extrem rechenintensiven und nichtlinearen physikalischen Gleichungssystemen für spätere Zeitpunkte prognostizieren. Während großflächige Trends hierbei mittelfristig gut prognostiziert werden können, haben die aktuellen Verfahren noch einige Schwächen für die lokale Wettervorhersage. Zum einen werden die Wetterprognosen nur in sehr groben Rastern von mehreren km berechnet. Zum anderen waren viele Messwerte bisher nicht meter- und minutengenau verfügbar. Hier setzt das vorliegende Projekt mit der Entwicklung einer meter- und minutengenauen Wettervorhersage an. Hierbei werden moderne KI-Verfahren auf Basis von hochaufgelösten lokalen Wetterdaten aus dem Internet-of-Things für die Wettervorhersage entwickelt. Der innovative Lösungsansatz besteht dabei in der dynamischen Interpolation bestehender Wettermodelle mittels Regression durch künstliche neuronale Netze und Verifikation durch die hochaufgelösten lokalen Daten.

DeepWeather wird durch das Zentrale Innovationsprogramm Mittelstand (ZIM) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

Demo To Go

Demonstrationen sind wesentliche Elemente für den Technologieaustausch. Dazu sollen zunächst herkömmliche Demozentren eingerichtet werden, in denen ohne großen Vorbereitungsaufwand Gästen der Hochschule Forschungsresultate aus dem Anwendungsbereich Smart Home / Smart Energy / Smart Mobility sowie Technologie- und Dienstleistungsdemos aus dem Forschungsschwerpunkt "Smarte Systeme für Mensch und Technik" demonstriert werden können. In einem zweiten Schritt sollen Demos mit Methoden der Virtuellen Realität realisiert werden, um eine Ortsunabhängigkeit und in Ergänzung zu reinen Videos eine Interaktivität zu erreichen. Damit können diese Demos auf hybriden Plattformen vorgeführt werden, z.B. kann eine Demo, die besonderes Equipment am Hochschulstandort Rüsselsheim benötigt, auch am Standort Wiesbaden gezeigt werden. Andere Orte sind z.B. Messen oder Vorort-Demonstrationen bei Externen. In einem dritten Schritt sollen die Demonstrationen so erweitert werden, dass sie nicht nur von eingewiesenem Hochschulpersonal sondern auch Unternehmen und Konsumenten selber durchgeführt werden können. Methoden der Serious Games sollen genutzt werden, um diesen ein motivierendes und unterhaltsames Demo-Erlebnis zu vermitteln. Die Demonstrationen sollen auch in der Lehre Verwendung finden.

Flow Lens

In unserer digital vernetzten Welt ist es wichtig und gleichzeitig zunehmend schwieriger, den Überblick über die Akteure und Vorgänge in Rechnernetzen zu bewahren. Datendiebstahl und Angriffe, Fehlkonfigurationen, Ineffizienzen und andere Anomalien müssen identifiziert, diagnostiziert und beseitigt werden um betriebliche Abläufe sicherzustellen. Dies betrifft verschiedenste Organisationen, von kritischer Infrastruktur wie z.B. Krankenhäusern über Produktionsanlagen und Unternehmen bis hin zu Behörden. Effizienz ist hier (nicht zuletzt aufgrund von Fachkräftemangel) oberstes Gebot, auch um die begrenzten IT-Budgets möglichst zielgerichtet einsetzen zu können. Flow Lens soll Netzwerkverantwortlichen neue Einblicke in die Vorgänge innerhalb ihrer Netze ermöglichen. Hierzu kategorisiert es die Akteure (oder “Knoten”) sowie die zwischen ihnen ausgetauschten Daten (oder “Flows”). Da sich die Daten, Protokolle und Knotentypen je Netzwerkumgebung und Anwendungsdomäne stark unterscheiden, soll der/die NetzwerkexpertIn interaktiv ein KI-Modell für das jeweils zu analysierende Netz anlernen können. Hierzu kategorisiert Flow Lens einfache Knoten und Datenströme vor und zeigt dem/der AnalystIn andere interessante Daten zur händischen Beurteilung auf. Sind die Vorgänge im Netz kategorisiert, wird es möglich, ungewöhnliches und verdächtiges Verhalten sowie Anomalien aufzuzeigen. Mit der Strategie, Klassifikatoren für Netzwerkdaten in der Praxis interaktiv anzulernen, betreten die Antragspartner consistec und die Hochschule RheinMain Neuland. Flow Lens geht aber noch einen Schritt weiter: Auf Grundlage der klassifizierten Flows soll es möglich sein, synthetische Netzwerkstrukturen und Flows zu erzeugen, die individuelle Kunden-Netze - datenschutzkonform - nachbilden und als Basis für weitere wissenschaftliche Arbeiten öffentlich zur Verfügung gestellt werden können. Hiermit soll Flow Lens einen Beitrag leisten, KI-gestützte Verfahren in der Netzwerkanalyse zu etablieren.

Dieses Projekt wird in Zusammenarbeit mit der Consistec GmbH durchgeführt. Es wird durch das Programm KI4KMU (FKZ: 01IS24017B) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

MobiliAR

MobiliAR beschreitet innovative Wege, um das Marktpotenzial für Softwareunterstützung im Möbelvertrieb durch Augmented Reality (AR) und damit verbunden Computer Vision und Künstliche Intelligenz (KI) auszuschöpfen. Diese Technologien sollen es erlauben, die Möbel im Kontext des geplanten Standorts beim Kunden direkt zu erleben, aber auch neue Features im digital-gestützten Möbelvertrieb bereit zu stellen, z.B. den Möbelstandort zu vermessen, bisherige Möbel aus dem Blickfeld zu entfernen, oder Konfigurationsmöglichkeiten von Möbeln intelligent anzubieten. Neben der technischen Innovation ist eine Anwendungsinnovation Ziel von MobiliAR, wozu passende Geschäftsmodelle entwickelt und eingesetzt werden. Dies kann perspektivisch auf andere Anwendungsfälle, auch im öffentlichen Bereich, umgemünzt werden. Zur Realisierung des Vorhabens werden in MobiliAR innovative Computer Vision-basierte Features der AR-Software auf Basis des aktuellen Stands der Wissenschaft neu konzipiert, ausgearbeitet und auf technische Machbarkeit hin untersucht. Die innovativen KI-basierten Features der AR-Software werden feinspezifiziert, konzeptionell validiert und protottypisch umgesetzt. Spezifische Interaktionskonzepte für die AR-Software werden entwickelt und mit adäquaten wissenschaftlichen Methoden evaluiert. So werden völlig neue Lösungen erarbeitet und deren Praktikabilität ausgelotet. Dieses Projekt (HA-Projekt-Nr.:1102/21-104) wird im Rahmen der Innovationsförderung Hessen aus Mitteln der LOEWE - Landes-Offensive zur Entwicklung Wissenschaftlich-ökonomischer Exzellenz, Förderlinie 3: KMU-Verbundvorhaben gefördert.

NetZeroNet

Angesichts des Klimawandels haben bewältigt die Industrie einen massiven Umbau ihrer Produktionsprozesse und Lieferketten. Im Zentrum steht das Ziel "Net Zero", das möglichst baldige Erreichen einer mindestens neutralen Nettobilanz an emittierten Treibhausgasen. Die Ausgangsfrage für das Projekt NetZeroNet ist das ungelöste Problem des umfassenden Screenings: Wie können Analysten technologisch bei der Bewertung von Unternehmen auf dem Weg zur Klimaneutralität unterstützt werden? Ziel ist die Entwicklung eines KI-basierten Prototyps, der es Analysten erlaubt die zunehmenden Informationsmengen, u.a. aus Firmenberichten, zu erschließen. Hierzu zeigt die KI Textstellen für den aktuellen Screening-Vorgang auf und extrahiert relevante Informationen. So erfassen Analyst und KI gemeinsam eine Wissensbasis die für zukünftige Sichtungen herangezogen werden kann, und die erstmalig auch indirekte Emissionen aus Wertschöpfungsketten ganzheitlich und branchenspezifisch erfasst. Hierbei verknüpft die NetZeroNet-KI das gewonnene Wissen direkt mit den zugrundeliegenden Textstellen, so dass diese nicht mehr aufwändig recherchiert werden müssen. Im Zusammenspiel mit den lernenden Assistenten von NetZeroNet können Domänenexperten somit die datengetriebene Analyse von Konsistenz und Vollständigkeit angestrebter und berichteter Treibhausgasemissionen effizient durchführen. So unterstützt das Projekt die Bekämpfung von Greenwashing und die Umleitung von Finanzströmen in nachhaltige Investitionen. NetZeroNet soll so die technologische Basis für ein neuartiges Datenprodukt für nachhaltiges Investment schaffen, das KI-gestützt skaliert und einen dedizierten Fokus auf Klimaneutralität bietet.

Dieses Projekt wird in Zusammenarbeit mit Sociovestix Ltd. durchgeführt. Es wird durch das Programm KI4KMU (FKZ: 01IS22050B) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

presentXR

presentXR erlaubt, Präsentationen für die Eventbranche und für Ausstellungen mittels Augmented Reality Technologien (AR) zu kreieren und durchzuführen, die einen erhöhten Erlebniswert bieten. Durch Erzeugung einer Cross-Reality (XR), einer Verschmelzung von echten und virtuellen Räumen, fühlen sich mehrere Teilnehmende gemeinsam mit Inhalten (co-)präsent, die sowohl durch Nutzung von "Handheld- AR" mit einem Smartphone als auch durch "Head-Mounted Displays" (HMD) zugänglich sind. Es werden modulare Software-Lösungen sowie kodifiziertes Designwissen bzgl. Grafikeffekten, Interaktionsmustern und narrativen Strukturen erarbeitet. Darüber hinaus wird ein wirtschaftlicher Workflow mit Beteiligung von weniger spezialisiertem Personal angestrebt, in der Anwendung untersucht und durch Handlungsempfehlungen dokumentiert. Der Lösungsansatz von presentXR geht davon aus, dass Basistechnologien für AR-Anwendungen (wie Unity3d incl. Tracking-Plugins und Hardware-Anbindung) vorhanden sind, große Player diese aktuell weiterentwickeln, und daher auf diesen aufgebaut werden kann. Dies erfolgt sowohl aus der Richtung von Machbarkeiten, als auch wesentlich aus der Richtung eines empathischen Verständnisses (durch Design- Thinking) für End-Nutzungsbedingungen und für praktisch-/wirtschaftliche Design- und Workflow-Zwänge im Anwendungsgebiet. Teilergebnisse umfassen: Technische Demonstratoren z.B. zur Darstellung von Qualitätsabstufungen bzgl. Präsenzerleben und Co-Präsenz mehrerer Nutzender mit unterschiedlichen Endgeräten in einer zeitbasierten AR-Präsentation; die Spezifikation eines Content-Formats für die dynamische Ablaufsteuerung und für die Unterstützung des narrativen Authoring; einen Baukastensatz mit weiter verwendbaren Software-"Nuggets", die Grafik- und Content-Patterns als Code mit Anwendungswissen zur Verfügung stellen; sowie einen integrierten und evaluierten "goldenen Demonstrator" für eine praktische AR-Fallstudie aus dem Bereich der Event- und Ausstellungskonzeption.

Dieses Projekt wird in Zusammenarbeit mit der satis&fy AG durchgeführt. Es wird durch das Programm "Forschung an Fachhochschulen" (FKZ: 13FH181PX8) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

SCENT

SCENT (SCalable dEep Networks for business Text) addressiert den Einsatz neuester Deep Learning Techniken - sogenannter Transformer-Netze - zur Text-Analyse im Geschäftsumfeld von Banken und Versicherungen. Hier bietet sich angesichts einer enormen Skale an zu verarbeitenden Dokumenten (Nutzeranfragen, Versicherungsbedingungen und -Scheine) enormes Potenzial für ein KI-basiertes Textverstehen in wissensintensiven Geschäftsprozessen. In Zusammenarbeit mit den Firmenpartnern R+V Versicherung und Volksbank Mittelhessen sollen deshalb Techniken zur skalierbaren semantischen Ähnlichkeitsanalyse von Texten (z.B. Schadenbeschreibungen vs. Versicherungsbedingungen) sowie zur Informationsextraktion aus Kundenanfragen entstehen. Hier stoßen einerseits Heuristiken und einfache Lernverfahren an ihre Grenzen und sind der Vielfalt natürlicher Sprache nicht gewachsen. Andererseits sind Deep Learning-Methoden - während in der der Forschung seit neuestem etabliert - noch nicht direkt auf betriebliche Anwendungen übertragbar. Hier setzt SCENT an und erforscht Schlüsselaspekte wie mangelnden Annotationen (Few-Shot Learning), Skalierbarkeit auf Hunderttausende von Referenzfällen, sowie die Erkennung über lange Kontexten (z.B. Verteilung von Sachverhalten über viele Vertragsklauseln).

SCENT wird in Zusammenarbeit mit den Anwendungspartnern R+V und der Volksbank Mittelhessen, sowie den assoziierten Partner Cognaize und der SER Group durchgeführt. Als wissenschaftliche Partner begleiten das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und die Universität Trier das Vorhaben. Dieses Projekt wird durch das Programm FH-Kooperativ des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

SENSURE Wald

Im Rahmen Vorhabens SENSURE Wald werden für Sentinel-2-Satellitendaten, basierend auf Künstlicher Intelligenz (KI), Modelle entwickelt, welche die räumliche Auflösung der Sentinel-2- Daten verbessern und eine hochgenaue Lokalisation auch kleiner Schadflächen ermöglichen („super-resolution“-Verfahren). Weiterhin werden Verfahren entwickelt, die auf Methoden aus dem Bereich des maschinellen Lernens, insbesondere der KI, gründen und den Datenbedarf zur Schaderfassung auf einen einzigen Aufnahmezeitpunkt reduzieren. Sowohl für Sentinel-2- als auch für Luftbilddaten werden vortrainierte Modelle entwickelt, die eine automatisierte und effiziente Erfassung von Schadflächen mit hoher Genauigkeit und Aktualität ohne die bisher nötige und aufwendige manuelle Zuarbeit erlauben.

VaStNet

In der Praxis können digitale Wertströme als Modelle von Produktionsprozessen mehrere hundert Knoten mit Annotationen (wie den erzeugten Produkten und Laufzeiten) umfassen. Die korrekte Erstellung eines Wertstroms ähnelt somit der Erstellung einer Software durch einen Programmierer: Häufig unterlaufen Fehler, die anhand des Verhaltens des Wertstroms schwer zu lokalisieren und beheben sind. So bleibt digitale Wertstrommodellierung bis heute überwiegend Simulationsspezialisten vorbehalten. Genau hier setzt das Vorhaben VaStNet an: Ziel ist es, Nutzer KI-gestützt bei der Modellierung korrekter Wertströme zu unterstützen. Hierzu sollen Lernverfahren entstehen, die den Wertstromexperten als digitaler Assistent unterstützen. VaStNet baut auf erfolgreichen Vorarbeiten der Hochschule RheinMain und der SimPlan AG auf, in denen weltweit erstmalig KI-Methoden zur interaktiven Reparatur von Wertströmen eingesetzt wurden. Diese Arbeiten werden nun auf drei Ebenen mit neuen Innovationen erweitert: Der Adaptionsebene (indem die KI auf die spezifischen Wertströme eines Kunden anpassbar wird), der Modellebene (indem ein Deep Learning - Modell Verwendung findet), sowie der Simulationsebene (indem das Modell die Simulationsergebnisse des Wertstroms für seine Empfehlungen berücksichtigt). 

Dieses Projekt wird in Zusammenarbeit mit der SimPlan AG durchgeführt. Es wird durch das Programm KI4KMU (FKZ: 01IS24015C) des Bundesministeriums für Bildung und Forschung (BMBF) gefördert.

VR-AR-Med2

Virtuelle Realität (VR) und Augmentierte Realität (AR) sind Technologien, die aufgrund ihrer Verfügbarkeit im Massenmarkt in den Blickpunkt zahlreicher Innovationen gelangt sind. Es gilt deren Potenzial für konkrete Anwendungen auszuschöpfen und den Mehrwert ihres Einsatzes hierbei nachzuweisen. Im Projekt wird die konkrete Anwendung der medizinischen Weiter- und Fortbildung (CME – Continuing Medical Education) betrachtet. Hier sehen Unternehmen wie der Antragssteller, die health&media GmbH (HM), hohe Nutzenpotenziale durch den Einsatz von VR/AR, die sich in effizienterem Lernen, höherer Motivation, Vermittlung von Zusatzqualifikationen sowie höherer Attraktivität des Lehrmaterials manifestieren. Die Gruppe LAVIS der Hochschule RheinMain (HSRM) unter Dr. Ralf Dörner bringt hier innovative Ansätze wie das Konzept der VR/AR-Nuggets (ein Pattern-basierter Ansatz, der in kombinierbaren, ständig lauffähigen Anwendungen umgesetzt wird), eine KI-basierte VR/AR-Guidance als auch ein punktuelles Einsatzkonzept von VR/AR im Kurs ein.

Dieses Projekt (HA-Projekt-Nr.:690/19-10) wird im Rahmen der Innovationsförderung Hessen aus Mitteln der LOEWE - Landesökonomischer Exzellenz, Förderlinie 3: KMU-Verbundvorhaben gefördert.