原标题:提升AR效果,谷歌发布精确虹膜估计全新机器学习模型MediaPipe Iris
(映维网 2020年08月08日)包括计算摄影(如人像模式)和增强现实效果(如虚拟化身)在内的大量应用都依赖于通过虹膜追踪来估计眼睛位置。一旦获得精确的虹膜追踪数据,我们无需专用的深度传感器就可以确定从摄像头到用户的距离。反过来说,虹膜追踪可以改善从计算摄影到虚拟眼镜或帽子穿戴等一系列的用例。
由于有限的计算资源,可变的光照条件,以及遮挡物的存在(如头发或因眯眼造成的眼脸),移动设备实现虹膜追踪是一项艰巨的任务。一般而言,这项技术会采用复杂的专用硬件,而这限制了相关解决方案的支持设备范围。
左边:在Pixel 2运行的MediaPipe Iris正在以cm为单位估计度量距离,没有采用任何深度摄像头;右边:groud-truth深度
为了量化所述方法的精确性,研究人员收集了200多位被试的正向同步视频和深度图像,并将其与iPhone 11的深度传感器进行比较。团队使用激光测距设备,通过实验确定iPhone 11的深度传感器在2米以内的误差小于2%。对于使用虹膜大小进行深度估算的方法,平均相对误差为4.3%,标准偏差是2.4%。谷歌对有眼镜被试和正常视力被试(不计入隐形眼镜情况)测试了所述方法,并发现眼镜会将平均相对误差略微提高到4.8%(标准偏差是3.1%)。另外,实验没有测试存在任何眼睛疾病的被试。考虑到MediaPipe Iris不需要专门的硬件,所述结果表明系统能够支持一系列成本范围的设备根据单张图像获取度量深度。

估计误差的直方图(左边),以及实际和估计距离的比较(右边)
3. 发布MediaPipe Iris
这个虹膜和深度估计模型将作为支持PC,移动设备和Web的跨平台MediaPipe管道发布。正如谷歌在最近一篇关于MediaPipe的博文所述,团队利用WebAssembly和XNNPACK在浏览器中本地运行Iris ML管道,无需将任何数据发送到云端。

使用MediaPipe的WASM堆栈。你可以在浏览器种运行模型

仅使用包含EXIF数据的单张图片计算虹膜深度
请点击这里以尝试虹膜追踪,请点击这里以尝试虹膜深度。
4. 未来方向
谷歌计划进一步扩展MediaPipe Iris模型,实现更稳定的追踪性能以降低误差,并将其部署用于无障碍用例。谷歌在相关文档和随附的Model Card中详细说明了预期的用途,限制和模型的公平性,从而确保模型的使用符合谷歌的AI原则。请注意,任何形式的监视监控都明显超出应用范围,故不予支持。团队表示:“我们希望的是,通过向广泛的研究与开发社区提供这种虹膜感知功能,从而促使创造性用例的出现,激发负责任的新应用和新研究途径。”
原文链接:https://yivian.com/news/76906.html
责任编辑: