无人机智能时代来临——精灵4视觉追踪篇
事实上,以实际试用的情况来看,大疆的精灵4的视觉里程精度非常高,悬停时完全不会飘,而且即使用手拉动它,也会挣扎着回到原来的位置纹丝不动。而且,在几乎没有什么纹理变化的均匀地面之上,也可以做到。这真是亮瞎了小编的双眼!!这意味着你在室内几乎任何场景下,都可以不用担心精灵4由于飘动而导致的碰撞和炸鸡(天黑闭眼除外)。以小编的经验,大疆的精灵4上一定是使用了一些不可告人的黑科技!!比上一代精灵3以及其他号称能够依靠光流悬停定位的无人机都要出色。 2.紧盯目标 为了捕获味美的羚羊,猎豹必须牢牢盯死它,不管它百般变化或穿上马甲。而这是需要猎豹的大脑来对羚羊的动作和样子进行复杂的加工。而对于精灵4来说,这就需要最前沿的模式识别和机器学习技术。为什么呢?这里有几个挑战: 2.1 目标的样子总是会变的,而环境更是多变复杂的 想象一下,在一个充满诱惑的树林里,猎豹追逐羚羊,到处都是干扰。羚羊在逃跑的时候,一会儿露出左边,一会儿露出后面,说不定一会儿露出头顶。而且还时不时经过阴影或者在顺光/逆光当中穿行。人类可以轻易的区分行人和汽车,羚羊可以从环境中识别出猎豹的身影,这是因为生物的大脑具有非常强大的模式识别能力,但是对于机器来说,使用视觉的目标跟踪却是一件困难的任务。 稍微技术一点的来说,相机看到的只是一张4K分辨率的数码表格,怎么把这些不停变化的像素识别为目标,是一项非常困难的任务。雪上加霜的是,随着光照的变化,阴影变换,物体重叠,遮挡,,形变,旋转,甚至于角度的变换,任何一个都可以让这些信息变得面目全非,,毫无逻辑可言。要让计算机能深入挖掘这些数字之间的关系,找出有用的信息, 就是模式识别和机器学习领域的研究内容了。换句话说,计算机需要不断地对目标的样子进行学习,抽取最主要的表达特征,使得它足够与变幻莫测的背景区分开来。 2.2目标时不时会被挡住或者藏起来 目标在移动的过程中,常常会被周围的环境所遮挡,怎么样只依据目标漏出来的一小部分就能判断目标的位置和大小,也是在目标追踪的过程中必须完成的挑战。以小编的知识水平来说,这一直是业界的公开难题,目前没有什么特方法精确地做到长时间的跟踪,即在跟踪的过程中准确地对目标进行学习,同时准确地判断遮挡和重新发现目标,特别是当目标和背景或者遮挡物样子非常接近的时候。 2.3 大脑反应要快 人脑可以对所有这些复杂的变化做出快速的反应,甚至在你无意识的过程中完成,这是因为人脑有非常复杂的结构和高效的处理单元——有研究表明人脑的神经元数量在10^12以上,每秒能进行的神经突触计算就更不计其数。然而纵观目前各大厂商的CPU、GPU以及目前火热的深度学习处理器,都和人脑在复杂度上差n个数量级,更何况身材瘦小的精灵4。 从Youtube的用户视频来看,大疆的Phantom 4的目标跟踪功能在这些方面都处理得很好。在光照和背景剧烈变化的情况下,还是能够牢牢地盯着不断变化的目标。即使偶尔跟丢,当目标重新出现之后,有能很大概率找回来。真是亮瞎了小编的眼镜,还是头一次看到这么稳定和强壮的跟踪和识别技术,甩都甩不掉!以小编的经验来看,大疆Phantom 4肯定是使用了类似于深度学习的黑科技。 这货并不容易驾驭。它非常的饥饿,既要大量的数据来训练,又要大量的计算资源来跑。当然,如果是仅仅是跑某个具体的小数据小复杂度的分类任务,需要的网络又很小,则另当别论。通常情况下,随着任务难度的增加,类别的增加,区分度的困难度增加,所需要的计算资源就会大幅增加。那如何在有限的计算平台上,尽可能地满足应用的需求,是最近讨论最火爆的课题——仿神经元芯片。而要实现目标,就涉及到一系列复杂的处理和优化和加速等等。大疆能把这么一种神黑科技搬到精灵4上实现复杂场景下的目标跟踪,小编已经不忍直视,就让这些大公司神人去折腾吧。 3.制定策略 接下来,猎豹就要在它的大脑中绘制一幅地图,并制定进攻策略了。这个地图的样子大概长成下面这样:里面既有目标的位置,也有自己的位置,以及环境中各种石头哇之类的障碍物。猎豹需要知道哪里能走,哪里不能走。而且猎豹需要根据羚羊的速度和动作来决定自己应该是加速往前冲,还是从旁边迂回,还是先慢下来等待机会。而且万一羚羊被花花草草遮挡住的一瞬间,猎豹还需要知道羚羊可能从哪里再次出现。专业一点说,这就是导航和路径规划的过程,既需要使飞机跟上目标,同时又要规划路线绕开路上的障碍物。这是机器人Navigation当中非常重要的一个方向。 精灵4实现了既要跟踪目标同时又要避开障碍物,规划一条足够安全的路线出来,其难度和很多厂家广为宣传的所谓的避障完全不是一个级别。单纯的避障好比我们开车的时候看到障碍物了大脚刹车,人人都会,只要不撞上就皆大欢喜。比如Typhoon H就是用了前方的超声波来干这事儿。而精灵4所谓的跟踪过程中避障就好比好莱坞电影里面,主角一遍追坏人一边还要躲避路上的车和花花草草,时而加速,时而减速,时而打方向盘,搞不好还要运用到漂移??所有这些动作,都要保证安全,想起都觉得难搞,不知道大疆是怎么做到的。 产品为王 那么这些看上去牛叉轰轰的技术,作为小白用户,它究竟能带给我哪些好处,我能拿它来干什么呢? (编辑:应用网_阳江站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |