文档章节

开源大数据周刊-第60期

 时光承诺
发布于 2017/07/14 15:19
字数 1022
阅读 6
收藏 0

原文地址

资讯

  • Apache Spark 2.2.0正式发布

    Spark 2.2.0 持续了半年的开发,近期发布了2.2.0版本,此版本是 2.x 版本线的第三个版本。在这个版本 Structured Streaming 的实验性标记(experimental tag)已经被移除,这也意味着后面的 2.2.x 之后就可以放心在线上使用了。除此之外,这个版本的主要集中点是系统的可用性和稳定性。关于 Apache Spark 2.2.0 的详细新功能介绍请参见文章

  • 《网络安全法》实施一个月,大数据创业进入迷茫期

    网络安全法正式实施前后,像一场寒流,席卷了整个大数据行业:数据接口公司可能会被直接关门,大数据营销公司在法律上也出现了一些障碍。数据行业进入整肃期,而新的规则大家都没头绪,数据管理和数据交易方式都有待理顺。

  • 身处大数据行业 必须要掌握25个大数据术语

    提到大数据可能有些令人生畏。在了解一定基本概念的基础上,掌握其中一些关键术语也是至关重要的。本文介绍了25个基本的大数据术语,包括算法、分析、批量处理、内存计算、数据湖、Spark、Hadoop等。

技术

  • Spark Streaming计算模型及监控

    Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合作者的应用场景,介结了在使用Spark Streaming方面的技术架构,并着重讲解Spark Streaming两种计算模型:无状态和状态计算模型以及该两种模型的注意事项。接着介绍了Spark Streaming在监控方面所做的一些事情,最后总结了Spark Streaming的优缺点。

  • 携程新风控数据平台建设

    本文主要从架构和业务的角度介绍下携程信息安全团队的数据平台建设之路,以及如何为业务和风控提供支持的。从早期以RabbitMQ和MySQL为核心的1.0架构到2.0架构的演进过程中,引入了Spark、Storm、Presto和Kafka等组件,并从数据采集、计算和任务调度等几个方面阐述了平台的痛点和解决方案。

  • 微博广告Hubble系统:秒级大规模分布式智能监控平台架构实践

    Hubble平台定位为微博广告智能全景监控、数据透视和商业洞察系统,Hubble利用HDFS、Kafka、Spark等开源技术,提供了从机器、应用和业务等多个维度的监控到趋势预测等智能化的功能,帮助广告系统发现数据后面最本质的东西。本文介绍了Hubble系统的设计原理及在智能全景监控实践中的一些思考。

  • HDFS维护状态

    更新操作系统以及应用安全补丁或修补程序等系统维护操作是任何数据中心的常规操作。需要开展这种维护操作的Hadoop存储节点DataNodes可能会脱机工作几分钟到几个小时。按照Hadoop之前的设计HDFS可以处理DataNodes停止或下线。但是,同时在多个DataNode上进行任何非协同维护操作可能会导致临时性的数据可用性问题。在Hadoop新版中,将会引入一个HDFS维护状态,旨在克服滚动升级和下线功能存在的缺点,可以避免数据块的不必要复制,并使计划性维护活动更加无缝地进行

欢迎入群技术交流!

_HBase_dingding

EMR_dingding

原文地址

 

本文转载自:http://click.aliyun.com/m/25960/

共有 人打赏支持
粉丝 0
博文 225
码字总数 0
作品 0
【码云周刊第 55 期】揭秘互联网防火墙核心技术

码云项目推荐 在日益复杂的互联网活动中,一个网络防火墙扮演着防备潜在的恶意的活动的屏障,并可通过一个”门”来允许人们在你的安全网络和开放的不安全的网络之间通信。今天,小编推荐国产...

码云Gitee
01/14
7
0
【码云周刊第 61 期】红包利器祝你开年大吉!

码云项目推荐 如果大家有抽奖的开源项目,也可以托管到码云上,我们会及时给予推荐。最后,如果你很喜欢以下提到的项目,别忘了分享给其他人哦! 1、项目名称:红包利器 RobRedPack 项目简介...

码云Gitee
02/08
0
0
OSChina 技术周刊第十九期 —— 开源看板管理系统 LibreBoard

每周技术抢先看,总有你想要的! 移动开发 【软件】移动后端服务平台 Uncode 【博客】Android四大组件之一:BroadcastReceiver 【博客】仿QQ列表滑动弹出按钮、长按提示、刷新列表 服务端开发...

OSC编辑部
2015/01/25
5.1K
6
2018年云栖社区值得订阅的11个精选技术期刊!

导语:近日,云栖社区全新推出垂直技术内容订阅平台,平台将以电子版周刊、月刊、每日导读等形式,为您呈现各垂直技术领域优质内容集锦。您只需通过一次简单订阅操作,即可定期接收到感兴趣的...

阿里云云栖社区
01/08
0
0
【码云周刊第 44 期】有哪些实用且堪称神器的 Chrome 插件

chrome 的简洁快速以及丰富的插件种类使得它在国内日益盛行,帮助了我们很多 chrome 用户提升了工作效率,而今天小编要给大家推荐9款实用甚至堪称神器的 chrome 插件,希望对提升大家的工作效...

码云Gitee
2017/10/27
0
29

没有更多内容

加载失败,请刷新页面

加载更多

Flask 开发填坑

插件的选择: flask-security 真的是个鸡肋啊。自带的页面,好丑。还不如用flask-login来做呢。

pearma
34分钟前
1
0
讲述下 :LVM逻辑卷管理遇到的问题

LVM学习逻辑卷管理创建逻辑卷遇到的问题 1 实验环境 系统 内核 发行版本 CentOS 2.6.32-754.2.1.el6.x86_64 CentOS release 6.10 (Final) 由于是最小化安装没有xfs命令,yum安装如下包支持此...

linuxprobe16
今天
0
0
day95-20180922-英语流利阅读-待学习

Hey Jude 半个世纪传唱不衰的背后故事 毛西 2018-09-22 1.今日导读 2004 年,The Beatles 被《滚石》杂志选为“历史上最伟大的 50 位流行音乐家的第一位”。这四名来自英国利物浦的男孩不仅对...

飞鱼说编程
今天
2
0
OSChina 周六乱弹 —— 放假前期焦虑症晚期

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @andonny :分享Matteo的单曲《Panama》: 《Panama》- Matteo 手机党少年们想听歌,请使劲儿戳(这里) @新垣吉衣OSC :我发现只要去有小朋友...

小小编辑
今天
262
10
wait()被notify()后,接着执行wait()后面的语句

wait()被notify()后,接着执行wait()后面的语句

noteman
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部