Ams : partners with ArcSoft to demonstrate complete solution for world-facing 3D dToF sensing in mobile devices

2021/02/23

ams dToF technology for world-facing mobile aims to achieve higher range and lower power consumption than other implementations

Die world-facing dToF-Technologie von ams für Mobiltelefone soll eine höhere Reichweite und einen geringeren Energieverbrauch als andere Lösungen bieten

German version

News facts:

• ams dToF technology for world-facing mobile aims to achieve higher range and lower power consumption than other implementations
• The option to integrate ArcSoft imaging software enables new applications including more immersive augmented reality capabilities
• To minimize integration effort for mobile device OEMs, the resulting 3D dToF system pro-vides a complete technology stack - from optical sensing through to scene reconstruction and integration with RGB camera
• The ams 3D dToF sensing solution will be ready for mass production by the end of 2021

Premstaetten, Austria (February 23, 2021) -- ams (SIX: AMS), a leading worldwide supplier of high-performance sensor solutions, and computer vision-based imaging software developer ArcSoft today demonstrated a working system for 3D direct Time-of-Flight (dToF) sensing, offering a complete solution for 3D sensing for use in mobile devices for Android™.

Integrating ams' 3D optical sensing solutions and ArcSoft's advanced middleware and software for simultaneous localization and mapping (SLAM) and 3D image processing offers the option for manufacturers to quickly and more simply implement augmented reality (AR) functions on mobile devices. High-performance, low-power dToF sensing systems also supports valuable applications including 3D environment and object scanning, camera image enhancement, and camera auto-focus assistance in dark conditions.

Frison Xu, Senior Vice-President and CMO of ArcSoft, said: 'The implementation of 3D dToF in mobile devices promises to spark the next wave of killer consumer applications, from photography enhancement to AR interactions, for example in interior styling and photorealistic reconstruction. That is why ArcSoft is excited and honored to work with ams. We will combine ams' world-leading dToF system with AR and computer vision core engines from ArcSoft to develop a superior imaging and AR experience for consumers. This adds significant value to manufacturers when developing new and exciting mobile apps, due to better lowlight bokeh, fast and accurate auto focus, wide-range, and vivid 3D scene modeling.'

Lukas Steinmann, Senior Vice-President of the Business Line Sensing, Modules and Solutions at ams, said: 'We see strong potential for broader market adoption of 3D dToF technology for world-facing AR use cases and photo enhancement in high-end Android mobiles from 2022. ams is honored to work with ArcSoft to stake out a leadership position in this market. By combining two complementary, best-in-class technology stacks, together we will enable an optimized AR user experience on high-end mobile platforms.'

3D dToF complete technology stack to minimize integration effort for mobile device OEMs

The system on view at MWC 2021 Shanghai is the result of intensive development work by ams and ArcSoft engineering teams. ams expects to be ready for production before the end of 2021 with a fully integrated 3D dToF sensing solution which will be superior to any existing implementation. Key features will include:

• Superior detect range at constant resolution and absolute precision in all lighting conditions including outdoors - not possible in other 3D solutions
• Best-in-class high ambient light immunity - 20x higher peak power compared to 3D ToF solutions currently available in the market
• Lowest average power consumption optimized for mobile - for room scanning distance range at high framerate (>30fps)

By combining its 3D optical sensing technology in a complete solution with ArcSoft software, ams eases the integration effort for mobile device OEMs, enabling them to drop in new dToF capability thanks to built-in integration with the Android operating environment.

The new 3D dToF system combines best-in-class technologies. ams provides high-power infrared VCSEL (vertical-cavity, surface-emitting laser) array, dot-pattern optical system, and a high sensitivity SPAD (single-photon avalanche diode) sensor.

The ArcSoft middleware is optimized for the characteristics of the ams optical sensor system, together with the RGB camera's output, converting the depth map to an accurate scene reconstruction. ArcSoft software also integrates the 3D image output with the mobile device's display to support more immersive augmented reality experience.

The new 3D dToF demonstration system is on view at the ams stand N1.A100MR at MWC 2021 Shanghai (23-25 February 2021).

For more information on ams' 3D dToF technology please go to https://ams.com/time-of-flight#3d-dtof or https://ams.com/mobile/3d-sensing#3d-dtof-ar

Eckdaten:

• Die world-facing dToF-Technologie von ams für Mobiltelefone soll eine höhere Reichweite und einen geringeren Energieverbrauch als andere Lösungen bieten
• Die Option zur Integration der ArcSoft-Bildgebungssoftware ermöglicht neue Anwendungen, einschließlich umfassenderen Augmented-Reality-Funktionen
• Um den Integrationsaufwand für Mobilgeräte-OEMs zu minimieren, bietet das daraus resultierende 3D-dToF-System einen kompletten Technologie-Stack - von der optischen Erfassung über die Szenenrekonstruktion bis hin zur Integration mit der RGB-Kamera
• Die 3D-dToF-Sensorlösung von ams wird bis Ende 2021 serienreif sein

Premstaetten, Austria (23. Februar 2021) -- ams (SIX: AMS), ein weltweit führender Anbieter von Hochleistungssensorlösungen, und die Entwickler der Computer-Vision-basierten Bildverarbeitungssoftware ArcSoft haben heute ein funktionsfähiges System für die direkte 3D-Time-of-Flight (dToF)-Abtastung vorgestellt, das eine Komplettlösung für die 3D-Erfassung zum Einsatz in mobilen Android™-Geräten bieten wird.
Die Integration der optischen 3D-Sensorlösungen von ams mit der fortschrittlichen Middleware und Software von ArcSoft für die simultane Positionsbestimmung und Kartierung (SLAM) und eine 3D-Bildverarbeitung bietet Herstellern die Möglichkeit, Augmented-Reality-Funktionen (AR) auf mobilen Geräten schnell und einfach zu implementieren. Leistungsstarke dToF-Sensorsysteme mit geringem Energieverbrauch unterstützen auch wertvolle Anwendungen wie das 3D-Scannen von Umgebungen und Objekten, die Verbesserung von Kamerabildern und die Unterstützung des Autofokus in dunkler Umgebung.

Frison Xu, Senior Vice-President und CMO von ArcSoft, sagte dazu: 'Die Implementierung von 3D-dToF in mobilen Geräten verspricht, die nächste Welle von Killerapplikationen für den Verbraucher auszulösen, von der Verbesserung der Fotografien bis hin zu AR-Interaktionen, zum Beispiel bei der Gestaltung von Innenräumen und fotorealistischer Rekonstruktion. Deshalb ist ArcSoft begeistert und fühlt sich geehrt, mit ams zusammenzuarbeiten. Wir werden das weltweit führende dToF-System von ams mit AR- und Computer-Vision-Core-Engines von ArcSoft kombinieren, um ein überlegenes Fotografie- und AR-Erlebnis für Verbraucher zu entwickeln. Dies bedeutet einen erheblichen Mehrwert für die Hersteller bei der Entwicklung neuer und aufregender mobiler Apps, dank besserem Bokeh bei wenig Licht, schnellem und präzisem Autofokus, großer Reichweite und lebendiger 3D-Szenenmodellierung.'

Lukas Steinmann, Senior Vice-President der Business Line Sensing, Modules and Solutions bei ams, sagte dazu: 'Wir sehen ein großes Potenzial für eine breitere Marktakzeptanz der 3D-dToF-Technologie für world-facing AR-Anwendungsfälle und Photo-Enhancement in High-End-Android-Handys ab 2022. ams fühlt sich geehrt, mit ArcSoft zusammenzuarbeiten, um eine führende Position in diesem Markt einzunehmen. Durch die Kombination zweier komplementärer, erstklassiger Technologie-Stacks werden wir gemeinsam ein optimiertes AR-Nutzererlebnis auf mobilen High-End-Plattformen ermöglichen.'

Der komplette 3D-dToF Technologie-Stack minimiert den Integrationsaufwand für Mobilgeräte-OEMs

Das auf der MWC 2021 Shanghai vorgestellte System ist das Ergebnis intensiver Entwicklungsarbeit der Ingenieurteams von ams und ArcSoft. ams geht davon aus, noch vor Ende 2021 mit einer vollständig integrierten 3D-dToF-Sensorlösung produktionsreif zu sein, die jeder bestehenden Lösung überlegen sein wird. Die wichtigsten Merkmale sind:

• besserer Detektionsbereich bei konstanter Auflösung und absoluter Präzision unter allen Lichtverhältnissen, auch im Freien - mit dieser Qualität nicht möglich bei anderen 3D-Lösungen
• klassen-beste Störfestigkeit in Bezug auf Umgebungslicht - 20x höhere Spitzenleistung im Vergleich zu den derzeit auf dem Markt erhältlichen 3D-ToF-Lösungen
• geringster durchschnittlicher Energieverbrauch, optimiert für den mobilen Einsatz - für Raumscannen bei hoher Frameraten (>30fps)

Durch die Kombination der optischen 3D-Sensortechnologie in einer Komplettlösung mit der ArcSoft-Software erleichtert ams den Integrationsaufwand für OEMs von Mobilgeräten und ermöglicht ihnen, dank der eingebauten Integration in die Android-Betriebsumgebung neue dToF-Funktionen vorzusehen.

Das neue 3D-dToF-System kombiniert die besten Technologien seiner Klasse. ams bietet ein leistungsfähiges Infrarot-VCSEL (Vertical-Cavity Surface-Emitting Laser)-Array, ein optisches Punktprojektion-System und einen hochempfindlichen SPAD (Single-Photon Avalanche Diode)-Sensor.

Die ArcSoft-Middleware ist für die Eigenschaften des optischen Sensorsystems von ams optimiert und wandelt zusammen mit der Ausgabe der RGB-Kamera die Tiefenkarte in eine genaue Szenenrekonstruktion um. Die Software von ArcSoft integriert außerdem die 3D-Bildausgabe mit dem Display des Mobilgeräts, um ein umfassenderes Augmented-Reality-Erlebnis zu unterstützen.

Das neue 3D-dToF-Demonstrationssystem ist am ams-Stand N1.A100MR auf der MWC 2021 Shanghai (23.-25. Februar 2021) zu sehen.

Weitere Informationen zur 3D-dToF-Technologie von ams finden Sie auf https://ams.com/time-of-flight#3d-dtof und https://ams.com/mobile/3d-sensing#3d-dtof-ar