文档章节

使用sourceCRT访问CentOS7中hdfs文件爆炸的问题

红者
 红者
发布于 2017/08/19 21:45
字数 715
阅读 68
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

hadoop初学者,刚学完理论,然后进入实际操作,然后sourceCRT就爆炸了,

是这样的,使用这段代码创建文件,并写入hello hadoop !后,在crt中输入命令查看文件中的内容,

然后就crt控制台就炸了,但是奇怪的是,再次输入命令,命令是乱码,但是可以正常执行,

然后就开始想办法,先把文件复制到本地目录,看文件里面都有什么内容,cat了一下什么都没有,尴尬,明明应该写进去了啊,然后vim编辑一下,看看能不能查看到里面的内容,发现里面的内容是几个未知字符加hello hadoop!,然后就炸了,前面的东西哪儿来的,然后用ftp把文件down到win上,发现和编辑页面看到的擦汗不多,前面多了几个字符,应该是二进制的内容,然后就开始自己百度,各种改编码格式的方法,但是我的都是utf8啊,没法再改了啊,然后就各种改编码,各种求助,发现都不行,折腾了好久,然后都快要放弃了,用java代码读一下试试,根据字节数组读取,发现和win中读取的一样,前面也是多了未知字符,然后想是不是读取方式问题,然后用readUTF读取,咦,发现是对的,但是hadoop在linux中的读取命令又不是我写的,我这读取问题,自己也不能去改他源代码啊,而且hadoop都是utf8,突然自己不知怎么就想用CentOS7自带终端试一下,一试之下发现,是正常的,哇塞,看到了希望,那么可能就是CRT的问题了,于是去CRT看配置的问题,一看,编码也是utf8啊,尴尬,全局设置瞅一遍,发现可能和仿真终端有关系,试试吧,于是开始从第一个开始往下尝试,试着试着,出现

这种情况,前面多个未知字符,嗯,好歹不是完全爆炸了,在往下试试看,试了五六个发现这是最好的了,然后然后心里开始想这是不是算是最好的了,这软件是不是有问题,但是心里又想和他刚到底,不全部试完就是不死心,于是继续,终于在试到WYSE50的时候,终于正常了,美滋滋,

总结:使用sourceCRT读取CentOS7中通过MyEclipse创建并写入内容的hdfs文件爆炸,如果不是自己编码的问题,那就尝试用自带终端读取看是否正常,正常则修改CRT中的仿真终端,找到适合自己Linux系统的仿真终端

© 著作权归作者所有

红者
粉丝 2
博文 5
码字总数 2031
作品 0
私信 提问
加载中

评论(0)

centos7搭建hadoop2.10完全分布式

本篇介绍在centos7中大家hadoop2.10完全分布式,首先准备4台机器:1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn(namenode) 192.168.30.142 s142 dn(datanod......

osc_z7893gdn
01/29
4
0
大数据学习笔记-(二)启动集群&配置IDE环境

参考网站:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html 1.启动集群,格式化文件系统 bin/hdfs namenode -format 2.启动 sbin/start-dfs.sh ......

langyw98
2017/11/06
0
0
CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置

相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 CentOS7安装CDH 第四章:CDH的版本...

osc_ovsx5e3f
2019/05/15
7
0
Python3调用Hadoop的API

前言: 上一篇文章 我学习使用pandas进行简单的数据分析,但是各位...... Pandas处理、分析不了TB级别数据的大数据,于是再看看Hadoop。 另附上人心不足蛇吞象 对故事一的感悟: 人的欲望是无...

osc_r8q2esik
2019/02/27
2
0
HDFS部署测试记录(2019/05)

HDFS部署测试记录 目录 HDFS部署测试记录 参考资料: Centos7系统配置上的变化(二)网络管理基础 Centos7系统配置上的变化(三)为网络接口添加多IP 增加ssh无密码信任连接的安全性 HDFS F...

乌合之众
2019/12/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

spring boot 设置任务调度线程池大小和线程前缀

编辑文件application.properties,加入如下: spring.task.scheduling.pool.size =10spring.task.scheduling.thread-name-prefix = sche_prefix-...

jingshishengxu
27分钟前
26
0
mongodb CRUD以及Aggregation常用操作

CRUD操作集 1)查询只展示需要的列db.collection.find({age : {$gt : 30} }, {name: 1, age: 1, _id: 0})2)查询有name字段且值为null的记录db.collection.find({name : {$type : 10} })......

简到珍
今天
29
0
wellcms2.0伪静态配置

目标格式 /user/login.html apache RewriteEngine on# Apache 2.4RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_FILENAME} !-f RewriteRule ^(.*?)([^/]*).html(.*)$ inde......

cs_sharp
今天
8
0
部署异步下载服务

异步下载 一、背景 目前系统对于大文件的下载慢、导出慢、大量的接口占用服务器带宽等问题,严重影响用户的体验,基于此背景,开发并实现了异步下载功能。 二、项目结构 脑图思路 三、环境准...

荼靡旖旎
今天
25
0
(转)Marathon私有镜像仓库用户名和密码方式

下载镜像需要输入用户名和密码的时候,marathon发布这样的images需要用这种方法。 首先需要手动登入镜像仓库。 docker login db-registry.inc-test.com Username: admin Password: D...

osc_5p8bxoq2
今天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部