文档章节

开源大数据周刊-第60期

 时光承诺
发布于 2017/07/14 15:19
字数 1022
阅读 9
收藏 0

原文地址

资讯

  • Apache Spark 2.2.0正式发布

    Spark 2.2.0 持续了半年的开发,近期发布了2.2.0版本,此版本是 2.x 版本线的第三个版本。在这个版本 Structured Streaming 的实验性标记(experimental tag)已经被移除,这也意味着后面的 2.2.x 之后就可以放心在线上使用了。除此之外,这个版本的主要集中点是系统的可用性和稳定性。关于 Apache Spark 2.2.0 的详细新功能介绍请参见文章

  • 《网络安全法》实施一个月,大数据创业进入迷茫期

    网络安全法正式实施前后,像一场寒流,席卷了整个大数据行业:数据接口公司可能会被直接关门,大数据营销公司在法律上也出现了一些障碍。数据行业进入整肃期,而新的规则大家都没头绪,数据管理和数据交易方式都有待理顺。

  • 身处大数据行业 必须要掌握25个大数据术语

    提到大数据可能有些令人生畏。在了解一定基本概念的基础上,掌握其中一些关键术语也是至关重要的。本文介绍了25个基本的大数据术语,包括算法、分析、批量处理、内存计算、数据湖、Spark、Hadoop等。

技术

  • Spark Streaming计算模型及监控

    Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合作者的应用场景,介结了在使用Spark Streaming方面的技术架构,并着重讲解Spark Streaming两种计算模型:无状态和状态计算模型以及该两种模型的注意事项。接着介绍了Spark Streaming在监控方面所做的一些事情,最后总结了Spark Streaming的优缺点。

  • 携程新风控数据平台建设

    本文主要从架构和业务的角度介绍下携程信息安全团队的数据平台建设之路,以及如何为业务和风控提供支持的。从早期以RabbitMQ和MySQL为核心的1.0架构到2.0架构的演进过程中,引入了Spark、Storm、Presto和Kafka等组件,并从数据采集、计算和任务调度等几个方面阐述了平台的痛点和解决方案。

  • 微博广告Hubble系统:秒级大规模分布式智能监控平台架构实践

    Hubble平台定位为微博广告智能全景监控、数据透视和商业洞察系统,Hubble利用HDFS、Kafka、Spark等开源技术,提供了从机器、应用和业务等多个维度的监控到趋势预测等智能化的功能,帮助广告系统发现数据后面最本质的东西。本文介绍了Hubble系统的设计原理及在智能全景监控实践中的一些思考。

  • HDFS维护状态

    更新操作系统以及应用安全补丁或修补程序等系统维护操作是任何数据中心的常规操作。需要开展这种维护操作的Hadoop存储节点DataNodes可能会脱机工作几分钟到几个小时。按照Hadoop之前的设计HDFS可以处理DataNodes停止或下线。但是,同时在多个DataNode上进行任何非协同维护操作可能会导致临时性的数据可用性问题。在Hadoop新版中,将会引入一个HDFS维护状态,旨在克服滚动升级和下线功能存在的缺点,可以避免数据块的不必要复制,并使计划性维护活动更加无缝地进行

欢迎入群技术交流!

_HBase_dingding

EMR_dingding

原文地址

 

本文转载自:http://click.aliyun.com/m/25960/

粉丝 0
博文 225
码字总数 0
作品 0
私信 提问
【码云周刊第 55 期】揭秘互联网防火墙核心技术

码云项目推荐 在日益复杂的互联网活动中,一个网络防火墙扮演着防备潜在的恶意的活动的屏障,并可通过一个”门”来允许人们在你的安全网络和开放的不安全的网络之间通信。今天,小编推荐国产...

码云Gitee
2018/01/14
2.2K
12
【码云周刊第 61 期】红包利器祝你开年大吉!

码云项目推荐 如果大家有抽奖的开源项目,也可以托管到码云上,我们会及时给予推荐。最后,如果你很喜欢以下提到的项目,别忘了分享给其他人哦! 1、项目名称:红包利器 RobRedPack 项目简介...

码云Gitee
2018/02/08
978
0
OSChina 技术周刊第 24 期 —— C# 6.0 的新特性

每周技术抢先看,总有你想要的! 移动开发 【博客】Swift社交应用文本输入优化汇总 服务端开发/管理 【翻译】HTTP/1 的最佳实践并不适合 HTTP/2 【翻译】使用 AppDomain 存储实现大数据集合 ...

OSC编辑部
2015/03/09
1K
0
OSChina 技术周刊第十四期 —— 每周技术精粹

每周技术抢先看,总有你想要的! 移动开发 【软件】医疗和生物医学移动应用框架 mHealhDroid 【博客】Android Studio 使用NDK开发 【博客】Android 4.4(KK)中利用APP打开关闭数据流量 前端...

OSC编辑部
2014/12/21
2.6K
1
2018年云栖社区值得订阅的11个精选技术期刊!

导语:近日,云栖社区全新推出垂直技术内容订阅平台,平台将以电子版周刊、月刊、每日导读等形式,为您呈现各垂直技术领域优质内容集锦。您只需通过一次简单订阅操作,即可定期接收到感兴趣的...

阿里云云栖社区
2018/01/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.5K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部