青研科技CEO杜煜:国内外眼控技术体验上没有差距
刚刚结束的CES Asia 2017上,一家叫做青研科技的技术公司引起了87君的注意。
这家上海本地的公司,研究的正是最近几个月在VR行业备受关注的眼球追踪技术。而说到眼球追踪,不得不提到87君最近刚刚采访过的七鑫易维,青研科技展台的工作人员告诉87君,青研和七鑫易维基本是国内“唯二”研究眼球追踪技术的公司。
出于好奇,87君在现场体验了他们的产品,并采访了青研科技的CEO杜煜,后者向87君介绍了青研科技这家公司,并分享了自己对眼球追踪技术和VR行业的一些看法。
丨资本寒冬获千万A轮融资,青研科技是一家什么样的公司?
杜煜介绍,上海青研科技成立于2009年,2010年的时候申请了一些眼球追踪相关的技术专利。2015年11月,青研科技获得上市公司华闻传媒数百万元pre-A轮融资,去年10月在资本市场对VR/AR概念最冷的时候,青研科技则逆势获得PE基金上海国弘千万级A轮投资。
最初,青研科技做的主要为高校开发眼动仪之类的科研和教学设备。杜煜本人2004年山东大学电子工程系硕士毕业,毕业以后做了一段时间电子仪器方面的产品,也比较熟悉高校教学设备这一领域。
之后,青研科技开始进入民用领域,包括为残疾人开发医疗辅具等等。随着2015年VR概念大火,青研科技也开始为VR/AR开发眼控配件,产品也在去年的CES上展出。本届CESA,青研科技带来了与HTC Vive合作开发的眼控配件EyeControl。杜煜介绍,除了HTC Vive,青研科技目前还和国内十几家VR头显品牌有合作,范围涵盖PCVR头显、移动VR头显和VR一体机。
杜煜介绍,眼球追踪应用到VR头显上,目前主要有三个功能:
第一,交互和游戏。比如在FPS游戏上,可以通过眼睛控制武器的瞄准。在PC和手机端,人们习惯于使用鼠标和触摸屏辅助游戏的定位和瞄准,然而在VR中,目前只能使用拥有6Dof的体感手柄,而在视野完全沉浸在虚拟世界的状态下,漫天挥舞一个手柄实在有那么一点危险,所以眼控会是一些轻交互游戏不错的选择。
第二,显卡优化。2016年的CES上,SMI展示了一项名为注视点渲染的技术,通过优先高清渲染人眼视野中心的部位,降低GPU的运算负荷,间接提升VR显示的效果。以HTC Vive为例,单眼的分辨率为1080*1200,游戏的刷新率最低为90HZ。意味着需要每秒2.33亿次像素渲染。而随着刷新率和分辨率的提高,未来GPU的压力会越来越大。而眼控注视点渲染技术,无疑间接的降低了VR体验的门槛。
第三,广告营销。对于普通消费者来说,前两项与他们息息相关。但是在杜煜看来,眼控+VR在广告营销的应用,才是眼球追踪技术在世界范围内最被认可的应用领域。对于广告主来说,传统的评估手段只能从打开率、跳出率、或者网页上鼠标的点击/悬停等等判断广告的效果,而前者往往不能真实反映受众关注的重点(比如一个唇膏广告,人们可能关注的是美女的低胸),后者则有一定的随机性。引入了眼球追踪之后,广告主可以通过注视热图确认植入的广告到底有没有被消费者关注,视频节目的招商,也可以更好的评估各个位置植入广告的效果,从而更精准的营销。
不过在杜煜眼中,VR只是眼球追踪的一个应用方向,而且以目前的市场状况,青研进入VR更多的是着眼对于虚拟现实未来的布局,VR在青研的营收占比也非常有限。
丨用眼睛打飞机是一种什么样的感受?
现场,87君体验了一个用眼睛控制的FPS VR游戏。
体验这款游戏使用的是HTC Vive头盔,青研科技开发的是其中的眼控配件EyeControl。据介绍,EyeControl采用高精密光学LED阵列结构,拥有青研自主知识产权的图像识别算法,重量仅为17g,追踪误差在0.5°以内。
体验的游戏则是青研自制的游戏DEMO,玩家用眼睛移动操控武器瞄准,通过按HTC Vive上的射击按钮,“手眼并用”击落天上的飞机。
上来,87君进行了校准。青研科技使用的校准方式为5点校准法,通过眼睛注视屏幕中间五个位置不同的圆点,对眼睛追踪的注视焦点进行校准,整个校准的过程持续了大约10s。
游戏体验的过程十分简单,用眼睛盯住不断出现的飞机,瞄准器会随着你的眼睛移动锁定住敌人,按手柄的按钮就可以将敌人击落。总体来看,追踪的延迟和精度基本合格,从体验者的角度很难感受出其中的误差。另一个好处是,全部体验过程都是坐在椅子上完成,全程不需要太多的移动,对于习惯PC和主机游戏的玩家来说,相比于在房间中走来走去挥舞手臂,这样静态的方式也更适合玩家的游戏习惯。
有一个小小的问题则是体验者不能戴眼镜。87君测试了一下,戴上眼镜之后,眼睛的校准变得十分困难,游戏中也很难追踪。87君的眼镜是一个近视800度、散光500度的眼镜“小怪兽”。工作人员表示,普通眼镜因为光折射等等原因,会影响追踪的精度,像87君这样的眼镜影响更大。青研EyeControl追踪模组配备了一些几百度的镜片,来满足近视用户的需求。
杜煜则表示,对于行业用户来说问题不大。但是如果要把眼球追踪做成消费电子产品,青研接下来会尽量优化自己的算法,进一步简化校准流程,降低校准时间,同时优化EyeControl在更复杂的环境(包括戴眼镜)下的追踪精度。
丨国内外眼球追踪技术哪家强?
最后,杜煜和87君谈了谈国内外眼球追踪行业发展的状况。
目前国外比较知名的眼球追踪企业,包括瑞典Tobbi(拓比)、德国SMI、以色列Umove、被谷歌收购的Eyefluence和被Oculus收购的TheEyeTribe,以及做出了眼球追踪VR头显的日本FOVE,国内则是七鑫易维和青研科技。这项技术最早被用于教育、医学领域,最典型的案例就是为霍金特质的眼球追踪输入电脑。最近几年,眼球追踪进入消费级市场,应用到包括LED屏幕、相机拍摄、手机和平板电脑,以及视频游戏等领域。
在虚拟现实领域,刚才提到的FOVE是第一家推出了集成眼球追踪VR头盔的公司;而HTC Vive和Oculus也试着把眼球追踪融入头盔,前者和七鑫易维合作推出了aGlass,后者则收购了TheEyeTribe;移动VR领域,高通则早早的在VR820平台集成了眼球追踪技术;此外,最近有消息称,微软下一代Hololens,也将尝试引入眼球追踪技术。
“SMI作为几十年的老牌企业,技术比较领先。整体上来说,国外眼球追踪在技术上比国内还是稍有优势,但是在实际使用上,根据我们客户的反馈,普通用户的感受相差不大。”杜煜总结了一下。“这几年国内外的差距缩小了,VR在国内大火,Tobbi也开始尝试进入中国。而相比国外企业,国内企业有两大优势。第一是价格会更低,毕竟技术开发人员的平均薪酬更低;第二,近水楼台,相比于国外,国内企业的服务也更加灵活。毕竟每次安装调试,都需要技术人员指导。”
杜煜总结,目前,国内外眼球追踪公司都是半斤八两,好一点的50分,差一点的45分的水平,但都是不及格的水平。“如果这项技术真的已经做到70、80分的水平,那应该每个人都会在日常生活中用到,就像手机上的指纹识别技术那样。现在只局限在小范围的人群,就是因为技术还不够成熟。消费者是最挑剔的,差一点都不行。”
从0做到1,杜煜表示,青研科技接下来,一方面是和合作伙伴一起,为企业级用户提供VR解决方案;另一方面,青研科技也会对产品进行迭代,包括追踪精度的优化、校准在内的体验过程的优化等等。
丨后记
在采访之前,87君和同事聊到青研科技这家公司的时候,就说到,不论是青研科技还是七鑫易维,做眼球追踪这么一个非常垂直的技术领域,一定不用担心他们的技术不行。而这次采访给87君最直观的感受,青研科技和杜煜的确不太会宣传自己,甚至杜煜本人也自嘲:“我们就是一群闷头做技术的理工男,宣传PR这些确实不怎么擅长。”而在中国的科技创投大环境,往往是10分PPT、3分产品、1分服务和5厘技术含量,确实需要一些踏踏实实研究技术的公司,推动VR乃至中国科技行业的发展。
所以,87君要为杜煜做青研科技的初衷点赞:“我觉得一件已非常可惜的事情,就是中国明明有很强的科研实力,但成果转化却都是让国外的企业完成。所以我的愿景就是,让优秀的中国科研成果,转化成中国的产品让世界瞩目!”