文档章节

大数据与机器学习的结合

灵玖lingjoin
 灵玖lingjoin
发布于 2014/12/11 16:29
字数 1551
阅读 14
收藏 0

    我们使用的导航地图近十年已经发生了翻天覆地的变化。上世纪90年代,我们还在用纸质地图寻找目的地。而现在基本只需要服从Siri或她的谷歌竞争对手的导航指令。


   “地面真相”算法和街景服务


    不过这些导航指令背后隐藏着大多数人无法想象的众多数据。目前由于谷歌已经获得了极其庞大的地图数据,他们开始采用大数据方法,或谷歌称之为“地面真相”的算法和细致的人工努力相结合的方法,为用户提供更详尽的地图信息。该项目于2008年推出,但它一直处于保密状态,直到几年前才公开。它持续增长,现已覆盖51个国家。这一算法在提取卫星、空中和街景视图的信息时发挥了巨大的作用。



谷歌“地面真相”算法可以识别的街景信息


    谷歌2007年推出了街景服务,通过让人们看到目的地周围的环境来提高用户体验。谷歌地图副总裁布莱恩·麦克伦登(Brian McClendon)。表示,“我们很快就意识到做地图的最佳途径之一,就是拥有全世界的街头照片。”


    随着街景收集数据的增长,抽查他们的数据已经不是很好的解决方案。谷歌地图产品经理马尼克·古普塔(Manik Gupta)表示,现在街景车已经行驶700多万英里,覆盖美国99%的公共道路,“它实际上使我们能够利用算法建立提取信息之外的新数据层。”


    这些算法借用计算机视觉和机器学习的方法来提取路边的街道编号、企业名称、限速交通标志等细节信息。不过很多信息还是非常难以提取,麦克伦登表示,“停止标记常常很容易被忽略。转弯限制对于导航来说也很重要,但对于谷歌的捕捉算法还很难处理。因为这些标记箭头可能是被画在道路上,它们可以是不同的颜色和大小。车道标记的分析更难,因为他们并不一致。”



谷歌地图普通用户不可见的转弯限制信息


    路牌也是非常重要的信息。驾驶者听到的导航指示如果能匹配他们看到的,那么他们就能更好的被指引。但有时街道标志使用的拼写或缩写导致了很多麻烦。“匹配标志上的文字实际上是一个很困难的任务。”


    另外,谷歌的算法还可以利用卫星和航空影像提取建筑物的轮廓和高度。美国大多数的建筑物现在都可以在谷歌地图上找到。对于像西雅图太空针塔这样的标志性建筑,计算机视觉技术已经可以提取出详细的3D模型。谷歌曾表示,它收购高分辨率卫星图像公司Skybox就是为了提高其地图的准确性。



计算机视觉技术提取的标志性建筑物3D模型


   职业地图纠错团队和MapMaker计划


    然而,卫星和算法的能力还是有限。为了提供最好的体验,谷歌雇佣了一只由人类组成的团队,手动检查并使用内部程序Atlas纠正地图的错误。谷歌公司以外很少有人见过这一应用。


    这一人工检查团队看到的地图类似于谷歌地图的卫星地图混合视图,但带有没见过的彩色线条和符号。例如,道路根据行进方向进行了颜色编码。绿色和红色箭头指示了给定的交叉路口的可能前进方向。工作人员可以点击屏幕一侧的按钮,拖曳、切换或关闭各种层,控制街景视图拍摄的交通标志的出现和消失。这些工作人员每天要检查数以千计来自谷歌地图用户的错误报告,并根据需要进行修复。



工作人员可以手动将地图道路(上图)对准卫星图像


    古普塔还展示了一张显示道路优先级的地图,线的宽度代表交通流量。谷歌一直用手机的位置信号映射交通条件。不过古普塔承认,位置信号也可以是其他信息的良好来源,比如转弯限制或者单行线。但他拒绝详细说明,“谷歌在很多地方使用了位置信息,但我不能谈论具体的东西。”


    除了职业地图纠错团队,谷歌还得到来自MapMaker计划的帮助。2011年谷歌推出了普通用户可以参与的地图纠错项目,现在的该项目遍及220个国家。目标是提高谷歌地图在发展中国家和其他地区的准确度。因为在那里无法获得详细的地图源,“我们招募用户添加对于他们很重要的地图信息。我们会提供工具和卫星图像,因此他们可以很轻松的进行修正。”


    用户可以提供公园、步道以及其他街景车无法进入的地方的信息。麦克伦登本人就曾帮助绘制Windy山的登山路径,“我用GPS记录了我登山的路径,完善了更多的精确路线。”


    当你在笔记本电脑或手机上使用谷歌地图时,表面的信息之下隐藏着更多的数据。不只是道路的布局,还包括链接一个点到另一个点的逻辑信息。信息不只是建筑物的形状,也许未来谷歌地图只会不断的细节化。最终,呈现出来的可能是让人震惊的世界3D虚拟图像。

 

 

 



© 著作权归作者所有

灵玖lingjoin
粉丝 85
博文 2884
码字总数 4069557
作品 0
东城
私信 提问
360公司总裁齐向东:没有安全保障 大数据没有未来

近日,2016贵阳举办大数据与网络安全攻防演练总结大会,360公司总裁、360企业安全集团董事长齐向东在大会上表示,没有安全的保障,大数据产业没有未来,大数据产生了三个颠覆,发展大数据产业...

玄学酱
2018/04/23
0
0
钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】

直播主题: 【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】 时间: 6月19日 19:30-20:30 分享嘉宾: 江宇,阿里云EMR技术专家。从事Hadoop内核开发...

EMR
06/17
0
0
大数据到底怎么学: 数据科学概论与大数据学习误区

数据科学家走在通往无所不知的路上,走到尽头才发现,自己一无所知。”-Will Cukierski,Head of Competitions & Data Scientist at Kaggle 最近不少网友向我咨询如何学习大数据技术?大数据怎...

wx5ad819330b785
2018/05/19
0
0
领跑物联网数据应用,机智云发布新一代4.0物联网开发平台

领跑物联网数据应用,机智云发布新一代4.0物联网开发平台 导读: 机智云4.0物联网开发平台推出 “ECE边缘计算引擎”、“RTBD实时大数据平台”、“Giga ML吉咖机器学习”、“D3动态数据编排引...

物联网小能手
2016/09/21
11
1
深度学习与处理用于数据驱动的地球系统科学

深度学习与处理用于数据驱动的地球系统科学 由Markus Reichstein 在 2019 发表于 《Nature》。 这是一篇综述性文章,介绍了机器学习如何在地学中的应用与挑战。地球系统科学进入了大数据时代...

openthings
03/08
165
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
8
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
9
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
7
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部