这背后是被苹果收购的以色列PrimeSense公司,它是苹果公司TrueDepth摄像头和点阵投影器(Dot projector)背后的技术支持提供商。
在全球范围内,“老牌”的Leap Motion和“新生”的Untouch(未动科技)、uSens(凌感科技)、微动、京龙睿信、车萝卜、光晕Halo以及极鱼科技等多家手势识别公司算是中国代表公司。
从最早的消费类电子市场(手机、VR头显)到如今的汽车市场,手势识别让用户能感受到“碟中谍”系列中阿汤哥在车内对空气挥手就能操作信息的场景。
而从目前的技术发展来看,实际上自动驾驶汽车中间很重要的一环就是体验,VR技术、AR技术,所有这些技术都是用来增强用户体验的。目前,利用摄像头进行手势识别已经成为部分高端车型的配置功能。
奥迪、奔驰、宝马、大众、福特等知名主机厂都在旗下的量产或概念汽车产品上加入了手势识别技术,但这些产品的识别率及使用流畅程度并不完美。此外,包括伟世通、德尔福以及微软、谷歌、三星等Tier1和IT公司也有发布类似产品方案。
在那些主打手势控制的车中,宝马7系无疑是一个典型代表。它可以识别6种预设手势操作,实现音量、导航、通话和空调等的设置。大众高尔夫的系统可以通过手势滑动控制菜单选项、电台、滚动播放列表和浏览媒体库,可操作选项会出现光晕提示,同时还有可视化交互反馈。
而在2015年初,奥迪带来了处于开发阶段的手势识别技术展示产品。有了它,后排乘客就可以通过手势来控制后排娱乐系统的各项功能。
根据硬件实现方式的不同,目前行业内所采用的手势识别大约有三种:结构光(Structure Light)、光飞时间(Time of Flight)以及多角成像(Multi-camera)。其中,宝马、大众等厂商采用的ToF,英特尔的结构光技术,以及谷歌的毫米波雷达技术。
同时,手势识别在实际落地上,也正在与中控、智能后视镜、HUD等硬件进行集成。而早前,谷歌更是宣称,无人驾驶汽车已经可以探测“数百种情况”,能自我识别交警举起的停车标志以及骑自行车的人所做的手势。
同时,手势识别与语音识别的集成交互,也在成为趋势。目前,国内包括思必驰、云知声等语音技术公司均有投资相关的手势识别厂商。
此外,目前国内多家自主品牌的下一代互联智能车载系统中,都已经将手势识别作为其中一项功能进行集成。从目前的车型规划来看,2019年发布车型有望出现手势识别的第一波高峰。
去年奇瑞汽车举办了一场小型内部技术成果发布会,发布了一系列AR(增强现实)+语音控制+手势识别等人工智能技术。按照目前透露的技术路线图,这些技术有望在2018年左右陆续在奇瑞产品上量产应用。
而将于近日上市的宝马全新5系插电混动版配备了全新“五维人机交互界面”,包含了自然语音识别、手势控制、触控屏幕、iDrive系统和热敏按键。
Untouch(未动科技)
去年7月,Untouch(未动科技)正式发布4款3D视觉交互产品:3D手势识别产品——黎曼平台,3D人脸识别产品——欧拉平台,SLAM产品——笛卡尔平台,及场景重建产品——高斯平台。
全球著名的ToF深度传感器厂商PMD也宣布,选择Untouch(未动科技)的黎曼平台作为中间件为客户提供非接触式的交互方案,双方深度合作,推出了完整的手势识别软硬件一体方案。
未动科技(Untouch)的核心竞争优势一个是构建了智能视觉交互技术的基础性平台,另一个数以PB计的深度数据积累,二者结合保证了未动科技国内领先的嵌入式智能视觉交互技术。
目前,未动科技(Untouch)推出了车载智能视觉交互产品。该产品基于未动科技自主研发的国内顶尖的3D手势识别与3D人脸识别技术,实现车内智能座舱的非接触式手势控制、身份认证与驾驶员状态监控,从而提供一种安全愉悦的车载人机交互体验。
未动科技(Untouch)正在加强和拓展与Tier1的合作关系,从而把视觉交互技术应用到更多的新车型中。
uSens(凌感)
2016年,uSens便与戴姆勒中国IT创新实验室一起展示了最新合作成果。这个车载手势交互应用了uSens的26自由度手势追踪以及6自由度头部追踪技术,体验者不仅可以在ARVR场景中观察3D汽车模型的内外部细节,而且可以进行交互。
uSens和Leap Motion采用的是相似的原理,都是使用复数的红外相机来识别人手的运动。公司把这款自研的搭载红外相机的手势识别模组称为Fingo。
uSens在2017年2月正式公开发售其手部追踪解决方案——Fingo。Fingo集成软硬件为一体,硬件上通过两个红外摄像头及三个红外辅助灯追踪手部动作,软件上基于计算机视觉及深度学习等算法,实现对双手骨骼的识别,大部分常用手势均可实现精准低延迟识别。
随后,uSens发布新版Fingo SDK,在手势算法底层进行了改进,新增一系列双手交互动作,如握拳、手心写字、十指交叉等,在同类产品中,率先实现对大面积遮挡的双手交叠类手部动作的识别,并可实现对十个手指的细微运动追踪。
微动Vidoo
在去年4月份的上海车展上,微动Vidoo发布了Vdrive车载手势识别解决方案,实现传感器定制到UI人机交互界面设计全闭环。
微动Vidoo从功能需求出发,进行算法优化裁剪,生成定制化方案;制定硬件通信接口与通信协议;量身打造标准化动作指令设计、UI设计、操作反馈设计。此外,通过HMI的动作设计环节以及底层的基础数据分析,还可以明确区分用户是有意进行手势操作指令的下达还是不经意的无意识动作。
公开资料显示,微动手势识别技术的独特之处主要体现在,复杂的核心算法以及大量的数据运算不依赖于主机去完成,而是依靠硬件设备上的FPGA独立运算单元。Vdrive的手势识别解决方案,采用120Hz高频双目深度传感器,结合SoC架构的FPGA芯片,将图形图像、人工智能算法都跑在车载Vdrive内部完成,与上位车机进行指令级通信。
极鱼科技
去年,国内以TOF方案实现手势识别模块的创业公司极鱼科技宣布,已完成2000多万元的A轮融资,将主要用于车内手势识别模块的研发和生产。彼时,极鱼科技的手势识别方案可以各识别5-10种动态和静态手势,车厂可以自选3-5个手势,并自定义相应功能。识别精度在1-2cm,识别准确度可达95%以上。延迟率则可控制在25ms内。
目前极鱼科技现在可以提供中控手势交互、HUD手势交互、车内乘客娱乐交互三种系统方案。去年12月,极鱼科技进入Startup Autobahn中国第一期加速器,并且获得了和戴姆勒合作的机会,推出基于手势识别的车载娱乐系统。
京龙睿信
定位前装及准前装HUD定向研发与销售平台的京龙睿信,除了HUD本身,还自带主要交互方式语音识别,同时辅以手势识别。其中,手势识别主要通过“上下左右”四个方向的手势动作来识别相应的指令;这个是通过HUD机体面向车主一侧的夜视红外线传感器实现,它可以识别用户动作。
去年,京龙睿信与阿里YunOS达成合作,双方将基于YunOS系统,合力推出京龙第三代HUD产品H3。这款产品将进一步实现图像效果、距离、温度的优化匹配,在实现语音、手势等智能交互的基础上,将手势芯片和产品上扬窗口改版完成。在保证图像清晰、色彩不眩晕、明暗环境可识别的前提下,增加角度识别力,让产品与更多车型达到匹配。
光晕网络
2016年底,总部位于深圳的初创团队光晕网络科技也发布其HUD产品光晕Halo,该产品历经约两年时间的研发。作为一个专注于车内交互功能的团队,光晕网络科技让他们的首款HUD产品主打手势识别、语音交互以及AR导航三位一体的集成体验。
光晕Halo的摄像头以自上而下的角度识别用户特定的手势,从而执行命令。该技术由光晕网络科技团队利用人工智能技术对200多万张不同手势的特定姿态图片进行训练;通过数据压缩,他们将5TB的原始手势数据库控制在5MB左右,这样大幅减少实际应用中耗费的计算资源。
乐驾科技(车萝卜)
北京乐驾科技有限公司于2015年7月1日正式发布了全球首个基于语音与手势操控的“车萝卜”(Carrobot)HUD智能车载机器人。成立于2015年1月的乐驾科技,凭借在语音技术方面(思必驰)的积累和优势,乐驾成立之初就定位于将打造一个基于语音操控和人机对话技术的人车交互平台。
其基于机器视觉的疲劳驾驶与视线偏离检测技术应用,通过在产品前置的摄像头,不仅可以完成手势识别的应用,还可以实现基于机器视觉的疲劳驾驶与视线偏离检测,主要包括三部分:检测人脸检测技术、脸部特征定位技术和疲劳检测技术。