文档章节

nutch2.1+mysql报错及解决

杨尚川
 杨尚川
发布于 2015/04/08 05:55
字数 143
阅读 443
收藏 0
错误信息:
java.io.IOException: java.sql.BatchUpdateException: Incorrect string value: '\xD6\xD0\xB9\xFA\xB9\xA4...' for column 'content' at row 1
at org.apache.gora.sql.store.SqlStore.flush(SqlStore.java:340)
at org.apache.gora.sql.store.SqlStore.close(SqlStore.java:185)
at org.apache.gora.mapreduce.GoraRecordWriter.close(GoraRecordWriter.java:55)
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.close(ReduceTask.java:579)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:650)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:260)
Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xD6\xD0\xB9\xFA\xB9\xA4...' for column 'content' at row 1
at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:1666)
at com.mysql.jdbc.PreparedStatement.executeBatch(PreparedStatement.java:1082)
at org.apache.gora.sql.store.SqlStore.flush(SqlStore.java:328)


解决方法:
在nutch2.1
中配置
<property>
  <name>encodingdetector.charset.min.confidence</name>
  <value>1</value>
  <description>A integer between 0-100 indicating minimum confidence value
  for charset auto-detection. Any negative value disables auto-detection.
  </description>
</property>
并确保mysql数据库编码为UTF-8
 
 
 
         

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1102
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
加载中

评论(1)

饼干队长
太感谢了,遇到同样的问题,在抓取超过一定数量就出现了。还不清楚是什么原因导致的。
python3常见报错及解决方法(ModuleNotFoundError、SyntaxError、TypeError、NameError)

①报错类型:ModuleNotFoundError 报错信息:ModuleNotFoundError:No module named 举例: 解决方法: win + R、cmd 回车 输入命令行: conda uninstall matplotlib pip/conda install mat...

lyle_luo
05/14
26
0
【经验分享】30秒搞定0190报错问题(Windows/Linux)

日前遭几位机友吐槽,ThinkPad少量机器在开机后偶会出现BIOS 0190报错(如图: 0190:Critical low-battery error),无法正常进入系统,但拔掉电池重插后重启(或连接电源后重启)后,BIOS ...

EdwardSmith
2013/07/01
406
2
【Python】python2的代码转python3遇到的问题

版权声明:非技术文章禁止转载,如有需要请私信作者。技术类文章欢迎转载,转载请注明出处: http://blog.csdn.net/ztf312/ https://blog.csdn.net/ztf312/article/details/78696191 需要把一...

CS青雀
2017/12/02
0
0
Python报错UnicodeDecodeError: ascii codec can t deco

Python报错UnicodeDecodeError: ascii codec can t deco 摘自 Python报错UnicodeDecodeError: ascii codec can t decode byte 0xe0 ...解决方法 在报错的页面添加代码: import sys reload(......

sidiansh
2016/04/14
42
0
IDEA打开Maven项目找不到jar问题

这应该是IDEA的bug导致的,我发现不管是Eclipse建的项目,还是IDEA建的项目,都有可能出现本地Maven仓库有jar包,但是项目报错找不到jar包。 今天找到解决方案了,记录一下: 我发现同一个项...

酸奶瓶盖儿
2018/08/02
345
0

没有更多内容

加载失败,请刷新页面

加载更多

正则表达式匹配

请实现一个函数用来匹配包括 '.' 和 '*' 的正则表达式。模式中的字符 '.' 表示任意一个字符,而 '*' 表示它前面的字符可以出现任意次(包含 0 次)。 在本题中,匹配是指字符串的所有字符匹配...

Garphy
51分钟前
5
0
Laravel 5.1的多路由文件的配置

默认的路由配置文件只有一个, \app\Http\routes.php。 在同一个文件中写路由容易起冲突,文件会越来越大,就需要定义多个路由文件。 找到加载\app\Http\routes.php的文件, 打开\app\Provid...

mdoo
今天
5
0
Hibernate 5 开始使用指南前言

同时在面向对象软件和关系型数据库进行工作,可能会非常复杂和费时。数据在对象和数据库之间可能会不一致,然后导致开发成本会非常高。 Hibernate 是一个针对 Java 环境的对象关系映射(Obj...

honeymoose
今天
6
0
聊聊nacos ServiceManager的UpdatedServiceProcessor

序 本文主要研究一下nacos ServiceManager的UpdatedServiceProcessor ServiceManager.init nacos-1.1.3/naming/src/main/java/com/alibaba/nacos/naming/core/ServiceManager.java @Compone......

go4it
今天
7
0
正则表达式的使用(QQ格式的判断与空格的切割)

//正则表达式的使用 public static void main(String[] args) throws IOException, ClassNotFoundException { //test1("123456"); test2("-1 99 kk"); } /** * ......

zhengzhixiang
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部