个人空间 - OSCHINA - 中文开源技术交流社区

1、背景在转转开始大数据平台建设之前，整个数据从需求提出到研发流程再到数据报表、数据产品，也是经历过一段非常混沌的时期，而且效率和质量往往很难得到保障，主要表现为以下几个方面： ...

2017/10/31 21:18

214

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并...

data wiki 大数据 mapreduce hadoop blog web-warehouse .net dwz 可视化 webshare http weixin

2017/10/31 21:17

188

美团数据仓库，在过去的两年中，与我们的业务一起高速发展。在这一演进过程中，有很多值得总结和沉淀的内容。这篇文档回顾下美团数据仓库这两年发展过程中遇到的各种问题，为什么选择了现在的...

大数据 php etl工具 extract 报表工具 html 关系数据库 blog transform shell hadoop

2017/10/31 21:16

111

一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门...

kafka netty hermes reactor avro pipeline k 分布式消息队列 javascript 大数据数据存储

2017/10/31 21:15

1.5K

最近和其他公司的同学对数据平台的发展题做了一些沟通，发现各自遇到的问题都类似，架构的变迁也有一定的相似性。以下从数据&架构&应用的角度对2012.07-2014.12期间大众点评数据平台的架构变...

greenplum hive data shark mysql hadoop 可视化 dwz 推荐系统 cache 分布式消息系统

2017/10/31 21:13

166

隐藏细节现实生活中有很多隐藏细节的案例，比如我们平时用的电脑，当我们按电源按钮后电脑就自动开始启动了，对用户来讲很简单只需要知道按按钮就行。但电脑内部的工作原理其实是很复杂的一...

2017/10/31 20:19

455

摘要: 本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典，而这篇讲解了对原来的架构上进行重构的工作内容，总共分为重构的原因、新一代的大数据技术架...

大数据 kafka 监控系统文件系统 hdfs storm hadoop 操作系统 hive 开源数据存储

2017/10/31 19:57

374

Java 语言中的 volatile 变量可以被看作是一种 “程度较轻的 synchronized”；与 synchronized 块相比，volatile 变量所需的编码较少，并且运行时开销也较少，但是它所能实现的功能也仅是 sy...

volatile 身份验证 synchronized java volatilebean this upper value javabean lower setupper

【JAVA多线程】

2017/10/31 12:16

95

volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生...

java context blog java虚拟机 volatile html null .net cas atomic 编译器虚拟机 code news

【JAVA多线程】

2017/10/31 09:44

91

nohup bash $(pwd)/10.77.51.9.sh &

【Linux】

2017/10/30 18:55

137

【IT时代周刊编者按】小编身边有很多做文案策划的朋友，他们时常抱怨，为了一篇文案又熬了一个通宵，可是仍想不出好的点子。本文通过小米丶凡客等案例的解读，分析出“互联网思维”的公司是如...

视频播放器面试手机控 iphone http r7td8ti ipod r76vrjc polo

【随笔】

2017/10/27 14:33

60

目前云计算、大数据、互联网领域的大部分系统都采用了SOA、微服务化的架构。一个涉及端到端全链路的业务操作往往会由多个服务和数据库实例共同完成。因此，在一致性要求较高的业务场景中，如...

分布式系统消息中间件 rocketmq 分布式事务框架 html jianshu base 数据库系统

2017/10/27 14:28

104

高可用的网站架构需要网站应用每个层面的支持，本文着重介绍应用层和服务层的高可用的解决方案。 1、高可用的应用应用层主要处理网站应用的业务逻辑，因此有时也被称作业务逻辑层，应用的一...

2017/10/27 14:25

1.8K

有时候 Eclipse 会发神经，好端端的 project 就这么编译不了了，连 Hello World 都会报“找不到或无法加载主类（Exception in thread "main" java.lang.NoClassDefFoundError:xxx）”的错误，...

2017/10/27 14:23

658

有时候，由于项目的需要，我们会将源码编译后以工具包（class打成jar包）的形式对外提供，此时，你的 jar 包不一定要是可执行的，只要能通过编译，能被别人以 import 的方式调用就行了。但还...

maven class blog java eclipse import html maven-assembly-plugin .net meta apache build plugins mojo

2017/10/27 14:22

273

先来一个概览，上图是我整理的Java8中的新特性，总的来看，大致上可以分成这么几个大块。函数式接口所谓的函数式接口就是只有一个抽象方法的接口，注意这里说的是抽象方法，因为Java8中加入...

stream optional null collect executor class 开源 shop completablefuture future java8 green listen

2017/10/27 14:21

106

（一） Java NIO 概述 Java NIO 由以下几个核心部分组成： Channels Buffers Selectors 虽然Java NIO 中除此之外还有很多类和组件，但在我看来，Channel，Buffer 和 Selector 构成了核心的A...

clear pipe buffer netty connect java channel mina truncate 网络应用数据处理 mark

2017/10/27 14:19

143

对字符串的处理应该是编程活动中最频繁的操作了，而原生的 JDK 以及 Java 本身的语法特性使得在 Java 中进行字符串操作是一件极其麻烦的事情，如果你熟悉 Shell/Awk/Sed/Perl/Python 等脚本语...

java sequence guava whitespace index html blog release .net z charmatcher charsequencesequence

2017/10/27 14:16

3.5K

世间总是一图胜过千万言，下面的8幅图来自于 Program Creek 的 Java教程 ,目前这是该网站最受欢迎的文章. 希望本文能帮你回顾你已经知道的那些知识。如果图片讲解的不够清晰,你可能需要阅读详...

java catch java虚拟机 collection hashmap diagrams blog 程序员 .net hashcode error equals

2017/10/27 14:15

92