Fujitsu Limited und die Carnegie Mellon University gaben die Entwicklung einer neuen Technologie zur Visualisierung von Verkehrssituationen, einschließlich Personen und Fahrzeugen, als Teil der gemeinsamen Forschung zum Social Digital Twin bekannt, die im Jahr 2022 begann. Die Technologie wandelt ein von einer monokularen RGB-Kamera aufgenommenes 2D-Szenenbild mithilfe von KI in ein digitalisiertes 3D-Format um, das die 3D-Form und Position von Personen und Objekten schätzt und so eine hochpräzise Visualisierung dynamischer 3D-Szenen ermöglicht. Ab dem 22. Februar 2024 werden Fujitsu und die Carnegie Mellon University Feldversuche mit Daten von Straßenkreuzungen in Pittsburgh, USA, durchführen, um die Anwendungsmöglichkeiten dieser Technologie zu überprüfen.

Diese Technologie basiert auf einer KI, die darauf trainiert wurde, die Form von Personen und Objekten durch Deep Learning zu erkennen. Dieses System besteht aus zwei Kerntechnologien: Die 3D Occupancy Estimation Technology, die die 3D-Belegung jedes Objekts nur anhand einer monokularen RGB-Kamera schätzt, und die 3D Projection Technology, die jedes Objekt innerhalb von 3D-Szenenmodellen genau lokalisiert. Durch den Einsatz dieser Technologien können Bilder, die in Situationen aufgenommen wurden, in denen sich Menschen und Autos dicht beieinander befinden, wie z.B. an Kreuzungen, dynamisch im virtuellen 3D-Raum rekonstruiert werden. Damit wird ein entscheidendes Werkzeug für die fortschrittliche Verkehrsanalyse und die mögliche Verhinderung von Zwischenfällen bereitgestellt, die von Überwachungskameras nicht erfasst werden können.

Gesichter und Nummernschilder werden anonymisiert, um die Privatsphäre zu schützen. Fujitsu und die Carnegie Mellon University wollen diese Technologie bis zum Fiskaljahr 2025 vermarkten, indem sie ihre Nützlichkeit nicht nur im Verkehrswesen, sondern auch in intelligenten Städten und bei der Verkehrssicherheit überprüfen, mit dem Ziel, ihren Anwendungsbereich zu erweitern. Im Februar 2022 begannen Fujitsu und die School of Computer Science und das College of Engineering der Carnegie Mellon University mit der gemeinsamen Forschung an der Social Digital Twin-Technologie, die komplexe Wechselwirkungen zwischen Menschen, Gütern, Volkswirtschaften und Gesellschaften dynamisch in 3D nachbildet.

Diese Technologien ermöglichen die hochpräzise 3D-Konstruktion von Objekten aus mehreren Fotos, die aus Videos mit unterschiedlichen Blickwinkeln aufgenommen wurden. Im Laufe der gemeinsamen Forschung stellte sich jedoch heraus, dass die bestehenden Videoanalysemethoden technisch unzureichend waren, um aufgenommene Bilder dynamisch in 3D zu rekonstruieren. Es waren mehrere Kameras erforderlich, um dies zu reproduzieren, und es gab Probleme mit dem Datenschutz, der Arbeitsbelastung und den Kosten, die einer gesellschaftlichen Umsetzung im Wege standen.