文档章节

使用hadoop mapreduce分析mongodb数据

goldbin
 goldbin
发布于 2017/07/27 16:04
字数 523
阅读 15
收藏 0

使用hadoop mapreduce分析mongodb数据

(现在很多互联网爬虫将数据存入mongdb中,所以研究了一下,写此文档)


版权声明:本文为yunshuxueyuan原创文章。
如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blog
QQ技术交流群:299142667

一、 mongdb的安装和使用

1、 官网下载mongodb-linux-x86_64-rhel70-3.2.9.tgz

 

2、 解压 (可以配置一下环境变量)

3、 启动服务端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(后台启动)

第一种:不带auth认证的

 

第二种:需要带auth认证的(即需要用户名和密码的)

 

当指定用户名和密码在查看数据,发现就可以看得到了

 

4、 启动客户端

./mongo

 

5、客户端shell命令

show dbs    显示mongodb中有哪些数据库

 

db    显示当前正在用的数据库

 

use db    你要使用的数据库名

 

(注:若database不存在,则会创建一个,此时若不做任何操作直接退出,则MongoDB会删除该数据库)

db.auth(username,password)  username为用户名,password为密码 登陆你要使用的数据库

db.getCollectionNames()  查看当前数据库有哪些表

 

db.[collectionName].insert({...})  给指定数据库添加文档记录

 

db.[collectionName].findOne()   查找文档的第一条数据

db.[collectionName].find()   查找文档的全部记录

 

db.[collection].update({查询条件},{$set:{更新内容}})   更新一条文档记录

 

db.[collection].drop()   删除数据库中的集合

 

db.dropDatabase()   删除数据库

 

二、 Mapreduce 分析mongodb的数据实例

 

1、 编写mapreduce的代码前,需要另外添加两个jar包,还有需(jdk1.7以上)

  

2、 需求介绍与实现

原数据:

 

结果数据:

 

代码编写:

Job:

 

Mapper:

 

Reduce:

 

最终的结果数据:

 

 

三、 最后给大家推荐一个mongodb数据库的管理工具,挺好用的

    

版权声明:本文为yunshuxueyuan原创文章。
如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blog
QQ技术交流群:299142667

© 著作权归作者所有

goldbin
粉丝 0
博文 13
码字总数 26896
作品 0
海淀
CTO(技术副总裁)
私信 提问
阿里专家视频课限时抢!精讲+实操12节课学懂MongoDB数据库!

想要学习MongoDB却不知道如何入门? 漫天的培训课程却无一讲解实战案例? 云栖社区联手阿里云大学独家出品—— 阿里云MongoDB技术负责人、MongoDB中文社区联席主席联合操刀 12期精讲+实操,全...

a独家记忆
2018/07/12
0
0
《阿里巴巴MongoDB4.0高级实战:基于Java Spring Boot 2.0》运维、监控、聚合、集群、监控等高级面试题

《阿里巴巴MongoDB4.0高级实战》阿里巴巴技术大牛 资深专家P9叶翔、专家徐雷. NoSQL排名第一!最流行的NoSQL数据库;谷歌、阿里巴巴、蚂蚁金服、腾讯、百度等一线互联网公司必备技能。 本系列...

徐雷frank
2018/11/01
0
0
MongoDB负载信息一目了然 阿里云HDM重磅发布MongoDB监控和诊断功能

混合云数据库管理(HDM)的统一监控、告警、诊断功能新增了对MongoDB的支持。 通过直观的方式将MongoDB多个维度的负载信息统一整合,不仅可以清晰的查看实时负载信息,也可以方便的确认历史负...

阿里云云栖社区
04/04
0
0
CentOS7 YUM 安装MongoDB 4.0

简介 MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写,运行稳定,性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站 MongoDB特点 模式自由 :可以把不...

Elson
2018/12/03
1K
0
大数据分析挖掘学习方向?数据分析师的就业前景怎么样?

加米谷数据分析挖掘课程明细,从理论到云端实操环境到项目实战,手把手教您从0掌握数据分析与挖掘技术,带您走进数据时代。 第一阶段(python基础) python入门:1、Python版本特性介绍2、P...

加米谷大数据
2018/04/17
25
0

没有更多内容

加载失败,请刷新页面

加载更多

计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
昨天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
昨天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部