文档章节

reduce输出结果到sqlserver数据库异常

小黑放大
 小黑放大
发布于 2015/01/28 17:29
字数 362
阅读 25
收藏 0

最近在做个hadoop统计的小项目,结果需要输出到sqlserver数据,其中遇到一些小问题

在map、reduce进行的比较顺利,因为数据比较规范,很快都搞定了

在运行时出现以下情况

遇到这种情况,第一时间想到是因为结点上驱动包的问题

对于缺少驱动的问题,有两种方案

1、在集群的每个结点${HADOOP_HOME}/lib下添加驱动包,并重启集群。这是最原始的方法,因为需要重启集群,不建议使用

2、先把驱动包上传到集群中

hadoop fs -put /lib/sqljdbc.jar

然后在新建Job之前添加到classpath环境中

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
//添加到classpath
DistributedCache.addFileToClassPath(new Path("/lib/sqljdbc.jar"), conf, fs);

//必须在新建JOB之前执行,这样才能在初始化 加载数据库驱动、以及连接数据库 传入到conf中供JOB使用
DBConfiguration.configureDB(conf, "com.microsoft.sqlserver.jdbc.SQLServerDriver", 
    "jdbc:sqlserver://192.168.240.1:1433;DatabaseName=dbname", "sa", "123456");
Job job = new Job(conf, "statistic");

job.setJarByClass(DbnameDownedStatistic.class);
job.setMapperClass(StatisticMap.class);
job.setReducerClass(StatisticReducer.class);

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(StatisticDBWritable.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(4);

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(DBOutputFormat.class);

FileInputFormat.addInputPath(job, new Path("hdfs://node1:9000/user/hadoop/statictic/"));
String[] fileds = new String[] { "name","down", "count" };
DBOutputFormat.setOutput(job, "statistic", fileds);

System.exit(job.waitForCompletion(true) ? 0 : 1);


这里需要注意的是

DBConfiguration.configureDB();

这个方法必须在new Job()之前执行,这样conf才能加载到驱动包,才能保证其他结点也能加载到驱动包

© 著作权归作者所有

共有 人打赏支持
小黑放大
粉丝 4
博文 20
码字总数 13257
作品 0
武汉
程序员
FreeBSD下执行SQL Server2005存储过程解决方案

FreeBSD下执行SQL Server2005存储过程解决方案(Warning: mssql_execute(): ...) FreeBSD下使用SQL Server2005(2008)需要使用FreeTDS。 安装FreeTSD后,使用PHP语言进行测试。在使用mssql_e...

雷xiao雨
2014/03/01
0
0
PHP 对 mysql 的事务处理

mysql>mysql事务处理php代码实现事务的处理可以通过PHP预定义类mysqli的以下方法实现。 autocommit(boolean):该方法用于限定查询结果是否自动提交,如果该方法的参数为true则自动提交,如果...

罗春宗
2012/10/31
0
0
在Linux上使用mssql-conf工具配置SQL Server 2017

在Linux上使用mssql-conf工具配置SQL Server 2017 mssql-conf是在Linux上安装SQL Server 2017后的一个配置脚本。你可以使用这个实用工具设置以下参数: 使用贴士: l 对于AlwaysOn可用性组和...

UltraSQL
07/30
0
0
SQL SERVER与mysql 的区别

2010-04-12 09:26:56| 分类: 寒窗磨剑|举报|字号 订阅 今天问了一下高手关于数据库的问题, 他的回答是,如果是做网站的话最好是用sqlserver,如果只是做企业内部的系统或者是单机的软件的话...

波利beryl
2014/11/10
0
0
thinkphp链接mssql以及查询中文乱码问题

首先说下我的环境,thinkphp版本3.1 php版本5.2.6 sqlserver2005 mysql版本5.2 最近做一个项目需要连接已有项目的sqlserver数据库来得到一些数据,我们直接的数据库是mysql 所以就需要切换数...

王纪光
2013/08/16
0
2

没有更多内容

加载失败,请刷新页面

加载更多

线性一致性和 Raft

作者:沈泰宁 在讨论分布式系统时,共识算法(Consensus algorithm)和一致性(Consistency)通常是讨论热点,两者的联系很微妙,很容易搞混。一些常见的误解:使用了 Raft [0] 或者 paxos ...

TiDB
22分钟前
0
0
兄弟连区块链教程以太坊源码分析core-state-process源码分析

## StateTransition状态转换模型 /* The State Transitioning Model 状态转换模型 A state transition is a change made when a transaction is applied to the cu......

兄弟连区块链入门教程
24分钟前
0
0
linear-gradient渐变中的参数

在看张鑫旭的博客 遇到渐变数值后面带参数不太理解 @supports (-webkit-mask: none) or (mask: none) { .box { border: none; background: linear-gradient(to bottom, #34538...

红羊在厦门
25分钟前
0
0
Python yagmail模块自动发邮件

Python发邮件yagmail模块 import yagmail#连接服务器yag=yagmail.SMTP('xx@163.com','yy','smtp.163.com')#邮箱正文contents=["test","email send"]#发送邮件#yag.send('...

小白兔_球球
26分钟前
1
0
pada mysql

CREATE SCHEMA `exchange` DEFAULT CHARACTER SET utf8mb4 ;

qwfys
35分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部