文档章节

Hadoop学习小结

FansUnion
 FansUnion
发布于 2015/05/03 01:30
字数 423
阅读 7
收藏 0

还在学校的时候,就知道Hadoop的存在了。

2012年在公司实习的时候,买了《Hadoop权威指南第2版》,大致看了下。

今年,抽空也大致喵了几眼。

最大的感悟就是:光看不做,还是不行。

Hadoop最坑最脑残的地方就是,默认不支持在Windows下运行。我的笔记本用的是Windows7系统。

这样,只好安装了VMware,然后安装Ubuntu系统,想通过这种方式来搭建环境。

 

Hadoop这个大数据处理框架包含了好多内容,MapReduce,HDFS等等。我现在只有个模糊的理解,想通过写代码,再反复看书和看文档的方式,来加深对Hadoop等云计算概念和技术的理解。

我觉得未来,云计算/大数据处理技术将会变得非常平常,就像今天使用Java开发一样。

IT技术实在是太多了,现在真心学得有点累了,不断思考和实践,IT技术之路要怎么搞。

本周,参加了Oracle Endeca的培训。培训老师说,用Oracle的一些技术,根本不用考虑什么大数据,把一切东西都加入到内存中,现在已经有32T的内存了,你敢信。

我觉得这些话也是有道理的,如果不考虑金钱和成本,确实不一定要什么云计算框架。

现实是,32T内存性价比太低,仍然有极限,普通企业不敢用,大型企业不能用(大型企业数据量太大了)。


小雷FansUnion-博学的互联网技术工作者

2014年7月1日

北京-昌平

© 著作权归作者所有

FansUnion
粉丝 60
博文 858
码字总数 825464
作品 0
丰台
高级程序员
私信 提问
MapReduce和Spark的区别

性能: Spark是在内存中处理数据的,而MapReduce是通过map和reduce操作在磁盘中处理数据,所以正常情况下Spark的处理速度会比mapreduce快。但是当数据量大,不能一次性加载到内存的时候,Spa...

无精疯
04/15
106
0
Linux环境SSH免密钥登陆

假设现在有两台机器hadoop@wang-PC(192.168.10.100),作为A机,hadoop@chen-PC(192.168.10.107),作为B机。现想hadoop@wang-PC通过ssh免密码登录到hadoop@chen-PC。 1. 在A机下生成公钥/私钥...

for_
2015/12/21
102
0
Hadoop日志小结

一、日志分类 1、进程日志 进程日志即为hadoop各个守护进程的日志,例如ResourceManager、NodeManager、NameNode、DataNode等守护进程。集群启动或者运行期间出现异常,首先应该查看进程日志...

alexanda2000
2017/01/10
0
0
浅析 hadoop与spark

Apache Hadoop和Apache Spark 接下来谈多核机器、 PB级数据和任务,这跟所有从twitter提到的Java或重载机器学习算法类似。谈到Hadoop,不得不说这个应用广泛的框架及它的组 件:Hadoop分布式文...

HTCKF
2015/07/13
91
0
使用ssh-keygen和ssh-copy-id三步实现SSH无密码登录

在配置Hadoop集群分布时,要使用SSH免密码登录,假设现在有两台机器hadoop@wang-PC(192.168.10.100),作为A机,hadoop@chen-PC(192.168.10.107),作为B机。现想hadoop@wang-PC通过ssh免密码登...

iphoenix
2016/03/17
142
0

没有更多内容

加载失败,请刷新页面

加载更多

面试官,Java8 JVM内存结构变了,永久代到元空间

在文章《JVM之内存结构详解》中我们描述了Java7以前的JVM内存结构,但在Java8和以后版本中JVM的内存结构慢慢发生了变化。作为面试官如果你还不知道,那么面试过程中是不是有些露怯?作为面试...

程序新视界
4分钟前
5
0
读书笔记:深入理解ES6 (八)

第八章 迭代器(Iterator)与生成器(Generator) 第1节 循环语句的问题   在循环、多重循环中,通过变量来跟踪数组索引的行为容易导致程序出错。迭代器的出现旨在消除这种复杂性,并减少循...

张森ZS
5分钟前
2
0
Elasticsearch 实战(一) - 简介

官腔 Elasticsearch,分布式,高性能,高可用,可伸缩的搜索和分析系统 基本等于没说,咱们慢慢看 1 概述 百度:我们比如说想找寻任何的信息的时候,就会上百度去搜索一下,比如说找一部自己喜...

JavaEdge
9分钟前
3
0
【jQuery基础学习】11 jQuery性能简单优化

本文转载于:专业的前端网站➦【jQuery基础学习】11 jQuery性能简单优化 关于性能优化 合适的选择器 $("#id")会直接调用底层方法,所以这是最快的。如果这样不能直接找到,也可以用find方法继...

前端老手
18分钟前
4
0
重磅发布 | 全球首个云原生应用标准定义与架构模型 OAM 正式开源

导读:2019 年 10 月 17 日,阿里巴巴合伙人、阿里云智能基础产品事业部总经理蒋江伟(花名:小邪)在 Qcon 上海重磅宣布,阿里云与微软联合推出开放应用模型 Open Application Model (OAM...

阿里云官方博客
21分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部