开始做SLAM(机器人同时定位与建图)研究已经近一年了。从一年级开始对这个方向产生兴趣,到现在为止,也算是对这个领域有了大致的了解。然而越了解,越觉得这个方向难度很大。总体来讲有以下几个原因:入门资料很少。虽然国内也有不少人在做,但这方面现在没有太好的入门教程。《SLAM for dummies》可以算是一篇。中文资料几乎没有。SLAM研究已进行了三十多年,从上世纪的九十年代开始。其中又有若干历史分枝和争论,要把握它的走向就很费工夫。难以实现。SLAM是一个完整的系统,由许多个分支模块组成。现在经典的方案是“图像前端,优化后端,闭环检测”的三部曲,很多文献看完了自己实现不出来。自己动手编程需要学习大量的先决知识。首先你要会C和C++,网上很多代码还用了11标准的C++。第二要会用Linux。第三要会cmake,vim/emacs及一些编程工具。第四要会用openCV, PCL, Eigen等第三方库。只有学会了这些东西之后,你才能真正上手编一个SLAM系统。如果你要跑实际机器人,还要会ROS。当然,困难多意味着收获也多,坎坷的道路才能锻炼人(比如说走着走着才发现Linux和C++才是我的真爱之类的。)鉴于目前网上关于视觉SLAM的资料极少,我于是想把自己这一年多的经验与大家分享一下。说的不对的地方请大家批评指正。这篇文章关注视觉SLAM,专指用摄像机,Kinect等深度像机来做导航和探索,且主要关心室内部分。到目前为止,室内的视觉SLAM仍处于研究阶段,远未到实际应用的程度。一方面,编写和使用视觉SLAM需要大量的专业知识,算法的实时性未达到实用要求;另一方面,视觉SLAM生成的地图(多数是点云)还不能用来做机器人的路径规划,需要科研人员进一步的探索和研究。以下,我会介绍SLAM的历史、理论以及实现的方式,且主要介绍视觉(Kinect)的实现方式。
希望对初学者和slam感兴趣人员有帮助。当然400页纸绝对会有bug和问题。如果发现的话请联系我。代码我第一时间改,书的内容可能要等一波修订,不过也会改。但是编译有错、链接有错的话,请尽量自己搞定。我基本每天早上都会看到q里有人让我调bug,这会影响到起床的心情。另外我不管销售,也没指着卖书挣钱(每卖一本我大概会拿到一块几毛钱的版税……)。我写它是因为我想写,另一个也确实缺这方面资料。书里数学部分写的比较精炼,代码也多是示例性质。想学好请多加练习。网上有些宣传把我吹的太过了,让我感到惶恐。我只是个普通的研究人员。喜欢搞学术,但做东西是凭文字和代码说话,并不凭粉丝数量……你学会了是你的东西,你仅是收藏的话当然也可以。“任何一个有智力的笨蛋都可以把事情搞得更大,更复杂,也更激烈。往相反的方向前进则需要天份,以及很大的勇气。”——爱因斯坦与诸君共勉。我就不自吹自擂了,总之对各位有帮助就好。内容还是偏基础了一些,很多工具还得靠大家自己进一步研究。现在草稿正在出版社审查,下个月应该就能跟读者见面了。b站有前七讲的视频但是我最近没时间更新…还有,有没有哪位大佬愿意给我写个推荐语的啊?网上有些宣传把我吹的太过了,让我感到惶恐。我只是个普通的研究人员。喜欢搞学术,但做东西是凭文字和代码说话,并不凭粉丝数量……你学会了是你的东西,你仅是收藏的话当然也可以。
学视觉slam十四讲,把一些框架拿过来运行一下,再把框架之中的内容改成自己想要的即可。
机器人爆炸式增长的一个主要问题是不能在不同的机器人平台上重复使用代码。然而,ROS中的硬件抽象层及其消息服务允许创建可用于许多不同机器人平台的新代码。而且,ROS提供了一套稳定的机器人软件包,公认的SLAM评估方法都依赖于机器人社区可用的标准数据集。
所有SLAM的结果都使用占用网格作为最终输出,使用地图相似性的性能指标进行分析。 重点是放在地图质量,而不是姿态估计误差,因为映射输出受到本地化问题的高度影响。
SLAM的典型应用领域:
地图建模。SLAM可以辅助机器人执行路径规划、自主探索、导航等任务。国内的科沃斯、塔米以及最新面世的岚豹扫地机器人都可以通过用SLAM算法结合激光雷达或者摄像头的方法,让扫地机高效绘制室内地图,智能分析和规划扫地环境,从而成功让自己步入了智能导航的阵列。
国内思岚科技(SLAMTEC)为这方面技术的主要提供商,SLAMTEC的命名就是取自SLAM的谐音,其主要业务就是研究服务机器人自主定位导航的解决方案。
一、啥是SLAM?
1. slam
slam就是 同步定位与建图(Simultaneous Localization and Mapping)。指机器人通过根据自身位置和地图实现自主定位和导航。
2. 技术和场景
SLAM系统包括两个主要组件:
1)前端将传感器数据抽象为可用于估计的模型
2)后端则对前端生成的抽象数据进行推理
两类技术路线:
激光slam(基于激光雷达):可靠性高,技术成熟;但 有雷达探测范围的限制和安装的结构要求
视觉slam(基于摄像头);
复合slam(激光+视觉)
主要应用于机器人,无人机,无人驾驶,AR/VR领域。
3.前景和风险
slam相关技术正越来越多地部署在从自动驾驶 汽车 到移动设备的各种现实环境中。由于移动设备和代理的定位信息的价值,云端位置服务会有很大的商业应用价值。
slam仍然是大多数机器人应用场景不可或缺的支柱,尽管在过去的几十年中取得了惊人的进步,但现有的SLAM系统在性能,理解力,推理力上远不能达到大规模商业推广的要求。
二、啥是DPU?
1. DPU
数据处理单元,类比CPU--中央处理单元;GPU--图形处理单元,是数据中心场景中的第三颗重要算力芯片,为数据密集的计算场景提供计算引擎。通俗点说就是,把网络数据的处理从CPU端解放出来,放到DPU端来做,这样做可以节省8核CPU的至少一半算力。
GPU的出现是为了处理越来越复杂的图形化计算,而DPU则是为了处理越来越庞大的数据量而诞生。
2. 技术和场景
三大特点:
卸载:数据中心的 网络服务,存储服务和安全服务的卸载
加速:硬件加速
隔离:隐私计算,数据隔离
应用场景:数据中心和云计算、网络安全、高性能计算及AI、通信及边缘计算、流媒体等。目前以数据中心和云计算为主。
与智能网卡(smart nic)的区别:功能类似,但技术架构不同。DPU架构是在DPU上插入一台服务器,而智能网卡架构是在服务器上插入一个网卡。
3.前景和风险
DPU是在目前算力困境的大背景下产生的,预示着一个新的算力时代的到来。行业需要更多的技术创新,更好的服务 “东数西算”国家大战略和数字经济发展。
三种市场策略:
传统处理器大厂通用领域耕耘,目标是全行业通吃,很注重产品的“通用性”,稳健布局 (英伟达)
小厂在行业细分场景耕耘,比如数据库加速、统一通信加速。定制化多,市场规模也有限。(中科驭数,云豹智能,星云智联)
云大厂垂直整合:云服务商使用DPU是必然趋势,但通用型DPU无法满足,DPU需要云OS加持(AWS,阿里,博通)
也有一些投资人认为,DPU赛道比较鸡肋:CPU/GPU同量级的高投入,但市场规模却不大。并且因为DPU跟用户的业务休戚相关(场景的软硬件解耦难度大),很多用户倾向自研,这进一步导致公开市场规模更加有限。
三、啥是氢能源?
1. 氢能源
氢能是一种不依赖化石燃料的储量丰富的新的清洁能源
特点:
1)重量轻且形态多:数百个大气压下,液氢可变为金属氢。
2)发热值高且燃烧性好:是汽油发热值的3倍。
3)储量丰富且运输方便
4)可回收且环保
5)耗损少且利用率高
2. 技术和场景
美国的航天飞机,和我国的运载火箭都已成功使用液氢做燃料
氢能源主要可应用于氢燃料电池和氢能 汽车 。与目前市面上的主流新能源车型相比,氢燃料电池才真正算得上是环保能源。
氢燃料电池技术,一直被认为是利用氢能解决未来人类能源危机的终极方案。上海一直是中国氢燃料电池研发和应用的重要基地,包括上汽、上海神力、同济大学等也一直在从事研发氢燃料电池和氢能车辆。用氢能作为 汽车 的燃料无疑是最佳选择。
电动 汽车 的核心:电机+电控+动力电池组。难题: 续航里程+充电难+电池报废的环保问题
氢能源 汽车 的核心:电机+电控+动力电池组+燃料电池堆+高压储氢罐。 难题:大量而低价生产氢(常规方法太不环保,电解水太耗电)+加氢难
3.前景和风险
利用太阳能来分解水生产氢是一个氢能源的主要研究方向,关键在于找到一种合适的催化剂。如今世界上有50多个实验室在进行研究,但至今尚未有重大突破,但它蕴育着广阔的前景。
日本丰田和韩国现代就是氢燃料电池的先驱者。目前的电动车应该只是临时过渡产品,当氢能源车的诸多技术瓶颈得到解决,氢能源车普及的时代也会到来。因此日本并没有全力发展电动车,而是把更多精力放在了构建氢能源为主的 社会 上。
开始做SLAM(机器人同时定位与建图)研究已经近一年了。从一年级开始对这个方向产生兴趣,到现在为止,也算是对这个领域有了大致的了解。然而越了解,越觉得这个方向难度很大。总体来讲有以下几个原因:入门资料很少。虽然国内也有不少人在做,但这方面现在没有太好的入门教程。《SLAM for dummies》可以算是一篇。中文资料几乎没有。SLAM研究已进行了三十多年,从上世纪的九十年代开始。其中又有若干历史分枝和争论,要把握它的走向就很费工夫。难以实现。SLAM是一个完整的系统,由许多个分支模块组成。现在经典的方案是“图像前端,优化后端,闭环检测”的三部曲,很多文献看完了自己实现不出来。自己动手编程需要学习大量的先决知识。首先你要会C和C++,网上很多代码还用了11标准的C++。第二要会用Linux。第三要会cmake,vim/emacs及一些编程工具。第四要会用openCV, PCL, Eigen等第三方库。只有学会了这些东西之后,你才能真正上手编一个SLAM系统。如果你要跑实际机器人,还要会ROS。当然,困难多意味着收获也多,坎坷的道路才能锻炼人(比如说走着走着才发现Linux和C++才是我的真爱之类的。)鉴于目前网上关于视觉SLAM的资料极少,我于是想把自己这一年多的经验与大家分享一下。说的不对的地方请大家批评指正。这篇文章关注视觉SLAM,专指用摄像机,Kinect等深度像机来做导航和探索,且主要关心室内部分。到目前为止,室内的视觉SLAM仍处于研究阶段,远未到实际应用的程度。一方面,编写和使用视觉SLAM需要大量的专业知识,算法的实时性未达到实用要求;另一方面,视觉SLAM生成的地图(多数是点云)还不能用来做机器人的路径规划,需要科研人员进一步的探索和研究。以下,我会介绍SLAM的历史、理论以及实现的方式,且主要介绍视觉(Kinect)的实现方式。
希望对初学者和slam感兴趣人员有帮助。当然400页纸绝对会有bug和问题。如果发现的话请联系我。代码我第一时间改,书的内容可能要等一波修订,不过也会改。但是编译有错、链接有错的话,请尽量自己搞定。我基本每天早上都会看到q里有人让我调bug,这会影响到起床的心情。另外我不管销售,也没指着卖书挣钱(每卖一本我大概会拿到一块几毛钱的版税……)。我写它是因为我想写,另一个也确实缺这方面资料。书里数学部分写的比较精炼,代码也多是示例性质。想学好请多加练习。网上有些宣传把我吹的太过了,让我感到惶恐。我只是个普通的研究人员。喜欢搞学术,但做东西是凭文字和代码说话,并不凭粉丝数量……你学会了是你的东西,你仅是收藏的话当然也可以。“任何一个有智力的笨蛋都可以把事情搞得更大,更复杂,也更激烈。往相反的方向前进则需要天份,以及很大的勇气。”——爱因斯坦与诸君共勉。我就不自吹自擂了,总之对各位有帮助就好。内容还是偏基础了一些,很多工具还得靠大家自己进一步研究。现在草稿正在出版社审查,下个月应该就能跟读者见面了。b站有前七讲的视频但是我最近没时间更新…还有,有没有哪位大佬愿意给我写个推荐语的啊?网上有些宣传把我吹的太过了,让我感到惶恐。我只是个普通的研究人员。喜欢搞学术,但做东西是凭文字和代码说话,并不凭粉丝数量……你学会了是你的东西,你仅是收藏的话当然也可以。
学视觉slam十四讲,把一些框架拿过来运行一下,再把框架之中的内容改成自己想要的即可。
机器人爆炸式增长的一个主要问题是不能在不同的机器人平台上重复使用代码。然而,ROS中的硬件抽象层及其消息服务允许创建可用于许多不同机器人平台的新代码。而且,ROS提供了一套稳定的机器人软件包,公认的SLAM评估方法都依赖于机器人社区可用的标准数据集。
所有SLAM的结果都使用占用网格作为最终输出,使用地图相似性的性能指标进行分析。 重点是放在地图质量,而不是姿态估计误差,因为映射输出受到本地化问题的高度影响。
SLAM的典型应用领域:
地图建模。SLAM可以辅助机器人执行路径规划、自主探索、导航等任务。国内的科沃斯、塔米以及最新面世的岚豹扫地机器人都可以通过用SLAM算法结合激光雷达或者摄像头的方法,让扫地机高效绘制室内地图,智能分析和规划扫地环境,从而成功让自己步入了智能导航的阵列。
国内思岚科技(SLAMTEC)为这方面技术的主要提供商,SLAMTEC的命名就是取自SLAM的谐音,其主要业务就是研究服务机器人自主定位导航的解决方案。
一、啥是SLAM?
1. slam
slam就是 同步定位与建图(Simultaneous Localization and Mapping)。指机器人通过根据自身位置和地图实现自主定位和导航。
2. 技术和场景
SLAM系统包括两个主要组件:
1)前端将传感器数据抽象为可用于估计的模型
2)后端则对前端生成的抽象数据进行推理
两类技术路线:
激光slam(基于激光雷达):可靠性高,技术成熟;但 有雷达探测范围的限制和安装的结构要求
视觉slam(基于摄像头);
复合slam(激光+视觉)
主要应用于机器人,无人机,无人驾驶,AR/VR领域。
3.前景和风险
slam相关技术正越来越多地部署在从自动驾驶 汽车 到移动设备的各种现实环境中。由于移动设备和代理的定位信息的价值,云端位置服务会有很大的商业应用价值。
slam仍然是大多数机器人应用场景不可或缺的支柱,尽管在过去的几十年中取得了惊人的进步,但现有的SLAM系统在性能,理解力,推理力上远不能达到大规模商业推广的要求。
二、啥是DPU?
1. DPU
数据处理单元,类比CPU--中央处理单元;GPU--图形处理单元,是数据中心场景中的第三颗重要算力芯片,为数据密集的计算场景提供计算引擎。通俗点说就是,把网络数据的处理从CPU端解放出来,放到DPU端来做,这样做可以节省8核CPU的至少一半算力。
GPU的出现是为了处理越来越复杂的图形化计算,而DPU则是为了处理越来越庞大的数据量而诞生。
2. 技术和场景
三大特点:
卸载:数据中心的 网络服务,存储服务和安全服务的卸载
加速:硬件加速
隔离:隐私计算,数据隔离
应用场景:数据中心和云计算、网络安全、高性能计算及AI、通信及边缘计算、流媒体等。目前以数据中心和云计算为主。
与智能网卡(smart nic)的区别:功能类似,但技术架构不同。DPU架构是在DPU上插入一台服务器,而智能网卡架构是在服务器上插入一个网卡。
3.前景和风险
DPU是在目前算力困境的大背景下产生的,预示着一个新的算力时代的到来。行业需要更多的技术创新,更好的服务 “东数西算”国家大战略和数字经济发展。
三种市场策略:
传统处理器大厂通用领域耕耘,目标是全行业通吃,很注重产品的“通用性”,稳健布局 (英伟达)
小厂在行业细分场景耕耘,比如数据库加速、统一通信加速。定制化多,市场规模也有限。(中科驭数,云豹智能,星云智联)
云大厂垂直整合:云服务商使用DPU是必然趋势,但通用型DPU无法满足,DPU需要云OS加持(AWS,阿里,博通)
也有一些投资人认为,DPU赛道比较鸡肋:CPU/GPU同量级的高投入,但市场规模却不大。并且因为DPU跟用户的业务休戚相关(场景的软硬件解耦难度大),很多用户倾向自研,这进一步导致公开市场规模更加有限。
三、啥是氢能源?
1. 氢能源
氢能是一种不依赖化石燃料的储量丰富的新的清洁能源
特点:
1)重量轻且形态多:数百个大气压下,液氢可变为金属氢。
2)发热值高且燃烧性好:是汽油发热值的3倍。
3)储量丰富且运输方便
4)可回收且环保
5)耗损少且利用率高
2. 技术和场景
美国的航天飞机,和我国的运载火箭都已成功使用液氢做燃料
氢能源主要可应用于氢燃料电池和氢能 汽车 。与目前市面上的主流新能源车型相比,氢燃料电池才真正算得上是环保能源。
氢燃料电池技术,一直被认为是利用氢能解决未来人类能源危机的终极方案。上海一直是中国氢燃料电池研发和应用的重要基地,包括上汽、上海神力、同济大学等也一直在从事研发氢燃料电池和氢能车辆。用氢能作为 汽车 的燃料无疑是最佳选择。
电动 汽车 的核心:电机+电控+动力电池组。难题: 续航里程+充电难+电池报废的环保问题
氢能源 汽车 的核心:电机+电控+动力电池组+燃料电池堆+高压储氢罐。 难题:大量而低价生产氢(常规方法太不环保,电解水太耗电)+加氢难
3.前景和风险
利用太阳能来分解水生产氢是一个氢能源的主要研究方向,关键在于找到一种合适的催化剂。如今世界上有50多个实验室在进行研究,但至今尚未有重大突破,但它蕴育着广阔的前景。
日本丰田和韩国现代就是氢燃料电池的先驱者。目前的电动车应该只是临时过渡产品,当氢能源车的诸多技术瓶颈得到解决,氢能源车普及的时代也会到来。因此日本并没有全力发展电动车,而是把更多精力放在了构建氢能源为主的 社会 上。
比如:《紫色年华》:是国内青春文学领域极具知名度与美誉度的强势品牌之一,学生票选最佳课外读物。《紫色年华》作为青春成长第一刊,引领着最IN的视觉潮流,树立了青春文学的新标杆。创刊6年来发行量超过3000万册,读者累计超过5亿人次,在流行文化的传播发展中发挥着领航者与风向标的作用。等等都是的,
1、拒绝抄袭2、认清自己擅长的领域3、查找相关类型的约稿函4、了解打算攻克的期刊5、认真研读投稿要求6、能自己解决的问题不要麻烦编辑7、规范投稿格式8、审稿期不要催编辑要回复
什么类型的找相似的投
是的。tpami审稿周期,第二次是一审5个半月,二审是两个半月。IEEE模式分析和机器智能期刊TPAMI(IEEETransonPatternAnalysisandMachineIntelligence)出版了有关计算机视觉和图像理解的所有传统领域,模式分析和识别的所有传统领域以及机器智能的选定领域的文章,其中特别强调了用于模式分析的机器学习。
PAMI:IEEE Transactions on Pattern Analysis and Machine Intelligence,IEEE 模式分析与机器智能杂志IJCV:International Journal on Computer Vision,国际计算机视觉杂志 TIP:IEEE Transactions on Image Processing,IEEE图像处理杂志CVIU:Computer Vision and Image Understanding,计算机视觉与图像理解PR:Pattern Recognition,模式识别PRL:Pattern Recognition Letters,模式识别快报
推荐《计算机学报》,EI期刊,详情如下:
《计算机学报》被以下数据库收录:
SA 科学文摘(英)(2011)
JST 日本科学技术振兴机构数据库(日)(2013)
EI 工程索引(美)(2016)
CSCD 中国科学引文数据库来源期刊(2017-2018年度)(含扩展版)
北京大学《中文核心期刊要目总览》来源期刊:
1992年(第一版),1996年(第二版),2000年版,2004年版,2008年版,2011年版,2014年版;
期刊荣誉:
百种重点期刊;中科双效期刊;
推荐《计算机学报》,EI期刊,详情如下:
《计算机学报》被以下数据库收录:
SA 科学文摘(英)(2011)
JST 日本科学技术振兴机构数据库(日)(2013)
EI 工程索引(美)(2016)
CSCD 中国科学引文数据库来源期刊(2017-2018年度)(含扩展版)
北京大学《中文核心期刊要目总览》来源期刊:
1992年(第一版),1996年(第二版),2000年版,2004年版,2008年版,2011年版,2014年版;
期刊荣誉:
百种重点期刊;中科双效期刊;
是的。tpami审稿周期,第二次是一审5个半月,二审是两个半月。IEEE模式分析和机器智能期刊TPAMI(IEEETransonPatternAnalysisandMachineIntelligence)出版了有关计算机视觉和图像理解的所有传统领域,模式分析和识别的所有传统领域以及机器智能的选定领域的文章,其中特别强调了用于模式分析的机器学习。
但尽人事。
ICCV 的全称是 IEEE International Conference on Computer Vision,即国际计算机视觉大会,由IEEE主办。
与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议,被澳大利亚ICT学术会议排名和中国计算机学会等机构评为最高级别学术会议,在业内具有极高的评价。
不同于在美国每年召开一次的CVPR和只在欧洲召开的ECCV,ICCV在世界范围内每两年召开一次。ICCV论文录用率非常低,是三大会议中公认级别最高的。ICCV会议时间通常在四到五天,相关领域的专家将会展示最新的研究成果。2019年ICCV将在韩国首尔举办。
会议收录论文的内容
会议收录论文的内容包括:底层视觉与感知,颜色、光照与纹理处理,分割与聚合,运动与跟踪,立体视觉与运动结构重构,基于图像的建模,基于物理的建模,视觉中的统计学习,视频监控,物体、事件和场景的识别,基于视觉的图形学,图片和视频的获取,性能评估,具体应用等。
ICCV是计算机视觉领域最高级别的会议,会议的论文集代表了计算机视觉领域最新的发展方向和水平。会议的收录率较低,以 2007 年为例,会议共收到论文1200余篇,接受的论文仅为244篇。
会议的论文会被 EI 检索,但其影响力却远超一般SCI期刊,大致与中科院JCR分区1区和Web of Science的JCR分区Q1中靠前的学术期刊相当。