从此,激光雷达和摄像头,就是一个东西了?

时间:2018-09-07 09:16来源:搜狐作者:yeyan 点击:
------分隔线----------------------------

摘要:最近几年,放在摄像头上的深度学习研究,发展很蓬勃。相比之下, 激光雷达(LiDAR) 身上的学术进展并不太多。

关键字:激光,激光技术,激光雷达

  最近几年,放在摄像头上的深度学习研究,发展很蓬勃。相比之下, 激光雷达(LiDAR) 身上的学术进展并不太多。

  可是,激光雷达采集的数据,有很多优点。比如空间信息丰富,比如光照不足也不影响感知,等等。

  当然,也有缺点。激光雷达数据,缺乏RGB图像的原始分辨率、以及高效的阵列结构(Array Structure) 。并且,3D点云很难在神经网络里编码。

  要是能把激光雷达和摄像头,变成一台设备就好了。

  如何“淘汰”摄像头?

  激光雷达厂商Ouster,是领域内独角兽Quanergy的前联合创始人Angus Pacala,出走之后建立的新公司。

  △Ouster联合创始人兼CEO

  去年11月,公司推出了OS-1激光雷达,想要从这里开始,打破激光雷达与摄像头的界限。

  中心思想是,只要激光雷达的数据足够好,就算专为处理RGB图像而生的深度学习算法,也可以拿来用。

  Pacala说,现在OS-1可以实时输出固定分辨率的深度图像(Depth Image) ,信号图像(Signal Image) 以及环境图像(Ambient Image) 。

  这些任务都不需要摄像头的参与。

  △高速相对运动中,容易产生果冻效应

  数据层与数据层之间,是空间相关的。拍摄高速运动的物体,也不容易产生果冻效应(Shutter Effects) 。

  另外,OS-1的光圈,比大多数单反相机的光圈要大,适合光照不足的场景。

  团队还开发了光敏度很低的光子计数ASIC,在低光照的情况下采集环境图像。

  △自上而下:环境、强度、范围图像,以及点云

  设备可以在近红外波段捕捉信号与环境信息,获得的数据,跟普通可见光图像差不太多。

  这样,分析RGB图像用的算法,也可以处理激光雷达的数据。

  小伙伴们还可以用Ouster (刚刚进行了固件升级) 的开源驱动,把数据转换成360度的全景动态:

  △动图有压缩

  传感器输出的数据,不需要预处理,就是这样的效果。

  数据跑一跑

  就像刚才说的,只要数据够好,就可以用那些为摄像头开发的算法,来做深度学习。

  把深度、强度和环境信息,编码成向量。就像RGB图像可以编码成红绿蓝通道一样。

  所以,OS-1的数据质量究竟怎么样?

  △数据跑得很开心

  Pacala说,他们用过的算法,和激光雷达的合作都很愉快。

  举个栗子,他们训练了一个像素语义分类器,来分辨可以行驶的道路,其他汽车,行人,以及自行车。

  这里是旧金山,在英伟达GTX 1060上运行分类器,实时生成了这样的**语义分割**效果:

  △语义分割:路是路车是车

  这是团队做的第一个实现。

  数据是逐像素的数据,所以能够无缝将2D翻译成3D帧,来做边框估计 (Bounding Box Estimation) 这类实时处理。

  除此之外,团队还把深度、信号和周围环境分开,单独放进神经网络里去跑。

  一个栗子,用了SuperPoint项目里预训练的神经网络,来跑强度和深度图像。

  网络是在RGB图像上训练的,从来没接触过激光雷达/深度数据。初次见面,却一见如故:

  △还是语义分割,只是单独跑了强度 (上) 和深度 (下) 数据

  Pacala说,激光雷达测距,在隧道、高速公路这样的规则几何环境里,可能不是很开心;而视觉测距,会在缺乏**质地**变化、缺乏**光照**的情况下,无所适从。

  OS-1用多模态的方法,把两者结合起来,疗效就不一样。

  1 + 1 > 2,这大概就是Ouster想要表达的意思。

  还不算真正上路

  2015年年初,Angus Pacala离开Quanergy。

  同年,Ouster在硅谷成立。

  △傲视群雄

  2017年12月,公司宣布完成2,700万美元A轮融资,并同时推出了售价3,500美元的OS-1。

  脚步不算快,但也算找到了自己要走的路。

  图像语义分割算法,初步肯定了他们的成果。

  不过,融合了摄像头属性的激光雷达,搭载到自动驾驶车上会有怎样的表现,还是未知。

【光粒网综合报道】( 责任编辑:yeyan )
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------

凡光粒网注明"来源:光粒网"或"来源:www.diodelaser.com.cn"的作品,包括但不限于本网刊载的所有与光粒网栏目内容相关的文字、图片、图表、视频等网上内容,版权属于光粒网和/或相关权利人所有,任何媒体、网站或个人未经光粒网书面授权不得转载、摘编或利用其它方式使用上述作品;已经书面授权的,应在授权范围内使用,并注明"来源:光粒网"。违反上述声明者,本网将追究其相关法律责任。

【免责申明】本文仅代表作者个人观点,与光粒网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

在线投稿有投稿需求的公司企业请直接在线申请,其他项目合作联系 QQ:1965483967 QQ:2644977628 → 在线申请投稿 >
Copyright  ©  2010-2018 diodelaser.com.cn Inc. All rights reserved.光粒网 版权所有
鄂ICP备11013139号-2

鄂公网安备 42018502002510号