Fraunhofer-Institut: Wie Fahrer und Fahrzeug in der Zukunft miteinander kommunizieren

Wie könnte die Kommunikation zwischen Fahrzeug und Fahrer abhängig vom Automatisierungsgrad optimiert werden? Dieser Frage geht ein Fraunhofer-Forschungsprojekt nach. Sensorik zur Innenraumbeobachtung und Sprachmodelle sollen Sicherheit sowie Komfort erhöhen.

Ein Bildverarbeitungsmodell verarbeitet auf Anfrage visuelle Daten. Die Forschenden arbeiten daran, relevante Informationen aus dem Bild zu extrahieren und sie für verschiedene Funktionen des Fahrzeugs, wie KI-Assistenten und Sicherheitssysteme, bereitzustellen. (Foto: Fraunhofer IOSB/Zensch)
Ein Bildverarbeitungsmodell verarbeitet auf Anfrage visuelle Daten. Die Forschenden arbeiten daran, relevante Informationen aus dem Bild zu extrahieren und sie für verschiedene Funktionen des Fahrzeugs, wie KI-Assistenten und Sicherheitssysteme, bereitzustellen. (Foto: Fraunhofer IOSB/Zensch)
Anna Barbara Brüggmann

In ein paar Jahren könnten Fahrer vielleicht folgende Sätze von ihrem Fahrzeug hören: „Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser“ oder auch „Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.“

Denn, so ein Forschungsteam aus den Fraunhofer-Instituten für Optronik, Systemtechnik und Bildauswertung IOSB und für Arbeitswirtschaft und Organisation IAO, mit zunehmendem Automatisierungsgrad der Fahrzeuge muss auch die Interaktion mit den Menschen neu gedacht werden.

Forschungsprojekt Karli

Dieser Aufgabe stellen sich die Forschenden zusammen mit zehn Partnern, darunter Continental, Ford und Audi, sowie eine Reihe von mittelständischen Unternehmen und Universitäten im Projekt Karli.

Der Name Karli steht dabei für Künstliche Intelligenz (KI) für Adaptive, Responsive und Levelkonforme Interaktion im Fahrzeug der Zukunft. Aktuell werden Ebenen der Automatisierung in nicht automatisiert (0), assistiert (1), teilautomatisiert (2), hochautomatisiert (3), vollautomatisiert (4) und autonom (5) unterteilt.

„Im Projekt Karli entwickeln wir KI-Funktionen für die Automationslevel zwei bis vier. Dafür erfassen wir Zustände von Fahrerinnen und Fahrern und gestalten unterschiedliche Mensch-Maschine-Interaktionen, die für die jeweiligen Level typisch sind“, erklärt Projektkoordinator Frederik Diederichs vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe.

Interaktion an Automatisierungslevel anpassen

Fahrerinnen und Fahrer müssten sich je nach Automatisierungslevel auf die Straße konzentrieren oder können sich mit anderen Tätigkeiten befassen. Sie haben, so die Forscher, zehn Sekunden Zeit, das Lenkrad wieder zu übernehmen, oder müssen zum Teil gar nicht mehr eingreifen.

Passende Interaktionen für jede Ebene zu definieren sei sehr komplex – aufgrund der unterschiedlichen Anforderungen an die Nutzenden und der Möglichkeit, je nach Straßensituation zwischen den verschiedenen Levels zu wechseln.

Auch müsste den Fahrenden stets bewusst sein, in welchem Automatisierungslevel sie sich befinden – und das muss wiederum durch Interaktion und Design sichergestellt werden.

Warnungen und Hinweise

Die im Projekt Karli entwickelten Applikationen setzen drei Schwerpunkte: Zum einen sollen Warnungen und Hinweise levelkonformes Verhalten befördern und zum Beispiel verhindern, dass die Fahrerin oder der Fahrer in einem Moment abgelenkt ist, der Aufmerksamkeit auf die Straße erfordert.

Die Nutzeransprache muss dabei dem jeweiligen Level angepasst sein – visuell, akustisch, haptisch oder eine Kombination aus diesen Möglichkeiten. KI-Agenten würden dabei die Interaktion steuern – die Partner evaluieren deren Leistungsfähigkeit und Zuverlässigkeit.

Reiseübelkeit verhindern

Ein zweiter Schwerpunkt betrifft das Risiko von Reiseübelkeit, das vorhergesehen und minimiert werden soll, denn es handle sich dabei um eines der größten Probleme beim passiven Fahren. Zwischen 20 und 50 Prozent der Menschen leiden den Angaben zufolge an dieser sogenannten Motion Sickness.

„Durch den Abgleich von Aktivitäten der Insassen mit erwartbaren Beschleunigungen auf kurvenreichen Strecken, können wir eine KI befähigen, den richtigen Insassen zum richtigen Zeitpunkt Tipps zur Vermeidung von Motion Sickness, mit Bezug auf deren aktuelle Aktivitäten zu geben“, so Diederichs.

Dafür würden sogenannte generierte User Interfaces, kurz ,GenUIn‘, genutzt - zur individualisierten Interaktion zwischen Mensch und KI.

KI-Interaktion

Und auf dieser KI-Interaktion liegt der dritte Schwerpunkt im Forschungsprojekt. GenUIn soll individualisierte Ansprachen kreieren und Hinweise geben, wie Übelkeit vermindert werden kann, falls sie trotzdem auftritt.

Die aktuelle Tätigkeit wird per Sensoren erfasst. Die Tipps könnten sich dann auf die Tätigkeit beziehen, aber auch berücksichtigen, welche Möglichkeiten im aktuellen Kontext überhaupt zur Verfügung stehen.

Außerdem sollen die Nutzer auch Wünsche äußern können, und so die Interaktion im Fahrzeug nach und nach personalisiert werden können.

Berücksichtigt werden müsse dabei immer das Automationslevel: Beispielsweise kurze und rein sprachliche Hinweise, wenn der Fahrende sich auf die Straße konzentriert oder ausführlichere und über visuelle Kanäle, wenn das Fahrzeug gerade die Fahraufgabe ausführt.

Unterschiedliche Sensoren

Zur Erfassung der Aktivitäten im Fahrzeug sollen verschiedene KI-gestützte Sensoren zum Einsatz kommen: optische Sensoren aus Innenraumkameras, die durch die aktuelle Gesetzgebung zum autonomen Fahren ohnehin verpflichtend werden, um die Fahrtüchtigkeit der Fahrenden sicherzustellen.

Die visuellen Daten der Kameras sollen dann mit großen Sprachmodellen zu sogenannten Vision-Language-Models (VLM) kombiniert werden.

Diese sind dem Forschungsteam zufolge die Grundlage dafür, dass moderne Fahrerassistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können.

Quasi wie ein Butler, der sich im Hintergrund hält, aber den Kontext kennt und den Insassen bestmögliche Unterstützung bietet, meint Diederichs.

Anonymisierung und Datenschutz

Wesentlich seien laut Diederichs bestmögliche Anonymisierung und Datensicherheit sowie eine transparente und erklärbare Erfassung der Daten.

„Entscheidende Faktoren für die Akzeptanz solcher Systeme sind Vertrauen in den Dienstanbieter, die Datensicherheit und ein direkter Nutzen für die Fahrenden“, betont Frederik Diederichs und erklärt weiter: „Nicht alles, was im Sichtfeld einer Kamera ist, wird ausgewertet. Es muss transparent sein, welche Informationen ein Sensor erfasst und wofür sie genutzt werden. Wie das gewährleistet werden kann, erforschen wir in unserer Arbeitsgruppe Xplainable AI am Fraunhofer IOSB.“

In einem weiteren Projekt namens Anymos arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, datensparsam zu verarbeiten und effektiv zu schützen.

Dateneffizienz

Das vom Bundesministerium für Wirtschaft und Klimaschutz geförderte Forschungsprojekts befasst sich auch mit dem Thema Dateneffizienz.

„Unser Small2BigData-Ansatz braucht nur wenige, qualitativ hochwertige KI-Trainingsdaten, die empirisch erhoben und synthetisch erzeugt werden. Sie bilden die Basis dafür, dass die Automobilhersteller wissen, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können“, erklärt Diederichs.

So soll der Datenaufwand überschaubar bleiben und die Projektergebnisse skalierbar werden. Vor Kurzem nahm das Forschungsteam ein mobiles Forschungslabor auf Basis eines Mercedes EQS in Betrieb, um die Nutzerbedürfnisse beim automatisierten Fahren im Level 3 auf der Straße besser zu erforschen.

Dort sollen die Erkenntnisse aus dem Karli-Projekt in der Praxis getestet und evaluiert werden. Erste Funktionen könnten, so die Angaben, bereits 2026 in Serienfahrzeugen zur Verfügung stehen.

Symboldbild Transportjobs

Mehr als 750 aktuelle Jobangebote aus der Transportbranche, vom Lkw-Fahrer über Fuhrparkmanager bis zu Disposition, Teamleitung und vieles mehr mit individueller Suchfunktion und Kartenansicht bieten wir Ihnen ab sofort in unserem Job-Bereich: Ihr nächster Schritt auf der Karriereleiter?

Alle Transport-Jobs anzeigen »