文档章节

使用sourceCRT访问CentOS7中hdfs文件爆炸的问题

sixjo
 sixjo
发布于 2017/08/19 21:45
字数 715
阅读 10
收藏 0
点赞 0
评论 0

hadoop初学者,刚学完理论,然后进入实际操作,然后sourceCRT就爆炸了,

是这样的,使用这段代码创建文件,并写入hello hadoop !后,在crt中输入命令查看文件中的内容,

然后就crt控制台就炸了,但是奇怪的是,再次输入命令,命令是乱码,但是可以正常执行,

然后就开始想办法,先把文件复制到本地目录,看文件里面都有什么内容,cat了一下什么都没有,尴尬,明明应该写进去了啊,然后vim编辑一下,看看能不能查看到里面的内容,发现里面的内容是几个未知字符加hello hadoop!,然后就炸了,前面的东西哪儿来的,然后用ftp把文件down到win上,发现和编辑页面看到的擦汗不多,前面多了几个字符,应该是二进制的内容,然后就开始自己百度,各种改编码格式的方法,但是我的都是utf8啊,没法再改了啊,然后就各种改编码,各种求助,发现都不行,折腾了好久,然后都快要放弃了,用java代码读一下试试,根据字节数组读取,发现和win中读取的一样,前面也是多了未知字符,然后想是不是读取方式问题,然后用readUTF读取,咦,发现是对的,但是hadoop在linux中的读取命令又不是我写的,我这读取问题,自己也不能去改他源代码啊,而且hadoop都是utf8,突然自己不知怎么就想用CentOS7自带终端试一下,一试之下发现,是正常的,哇塞,看到了希望,那么可能就是CRT的问题了,于是去CRT看配置的问题,一看,编码也是utf8啊,尴尬,全局设置瞅一遍,发现可能和仿真终端有关系,试试吧,于是开始从第一个开始往下尝试,试着试着,出现

这种情况,前面多个未知字符,嗯,好歹不是完全爆炸了,在往下试试看,试了五六个发现这是最好的了,然后然后心里开始想这是不是算是最好的了,这软件是不是有问题,但是心里又想和他刚到底,不全部试完就是不死心,于是继续,终于在试到WYSE50的时候,终于正常了,美滋滋,

总结:使用sourceCRT读取CentOS7中通过MyEclipse创建并写入内容的hdfs文件爆炸,如果不是自己编码的问题,那就尝试用自带终端读取看是否正常,正常则修改CRT中的仿真终端,找到适合自己Linux系统的仿真终端

© 著作权归作者所有

共有 人打赏支持
sixjo
粉丝 2
博文 4
码字总数 1631
作品 0
大数据学习笔记-(二)启动集群&配置IDE环境

参考网站:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html 1.启动集群,格式化文件系统 bin/hdfs namenode -format 2.启动 sbin/start-dfs.sh ......

langyw98
2017/11/06
0
0
Hadoop基础之HA的安装与配置

即上篇文章Hadoop基础之HA(高可用)之后,本文将介绍HDFS HA的搭建与配置。参考官方文档:http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWith...

landy8530
2017/11/25
0
0
Hadoop 在Centos7上的伪分布式搭建

安装 SSH 客户端 安装SSH: 安装完成后,可以使用下面命令进行测试: 输入root账户的密码,如果可以正常登录,则说明SSH安装没有问题。测试正常后使用exit命令退出ssh。 安装 JAVA 环境 安装...

Menzel3
2017/11/03
0
0
CentOS7-Hadoop安装

环境:CentOS7 64位 2台 centos7-1 192.168.190.130 master centos7-2 192.168.190.129 slave1 hadoop 下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/ 选则3.1.0版本 在安装之......

刺激乐天派
07/12
0
0
Hadoop安装过程中的HA切换不成功的坑

在hadoop安装配置过程中,有很多同学按照网上教程配置完成,并启动HA即两台NameNode后,看到其中一台服务器是active,另一台则是standby模式,而且文件也可以正常写入到hdfs中,但是并没有去...

hotbigdata
04/20
0
0
centos7 hadoop 集群安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/ 前言: 本文安装配置的hadoop为分布式的集群,单机配置见:centos7 hadoop 单机模式安装配置 我用的三个cen...

董可伦
05/21
0
0
CentOS7安装hive-2.1.0

环境: CentOS7 Hadoop-2.6.4,配置两个节点:master、slave1 mysql-server 过程: 下载、解压hive-2.1.0到/usr/hadoop-2.6.4/thirdparty $ tar zxvf apache-hive-2.1.0-bin.tar.gz 设置 Hi......

x163麦芽糖
2016/11/23
37
0
centos7基础文档一

centos7基础文档一 一.centos7与原有版本的区别 1 文件系统 centos7选择了xfs作为 默认的文件系统。但是之前版本的所有的文件系统仍然支持,如:EXT文件系统之类的,而是对未来爆炸式的增长的...

挚爱linux
2017/05/11
0
0
如何让HDFS更高效之利用数据冷热度篇

主题简介: HDFS优化存储功能讲解 SSM系统架构设计 SSM系统应用场景分析 一、背景 随着大数据技术相关技术的发展和普及,越来越多的公司开始使用基于开源Hadoop的平台系统,同时,越来越多的...

问题终结者
2017/11/02
0
0
初识hadoop

初识hadoop 概念 hadoop首先是大数据领域。大数据领域至少是分布式的,分布式数据必然是有一定规模了。如果数据只有几个G或者更小就没有什么意义了。 hadoop最核心的概念就是HDFS和MapReduce...

王二狗子11
01/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

about git flow

  昨天元芳做了git分支管理规范的分享,为了拓展大家关于git分支的认知,这里我特意再分享这两个关于git flow的链接,大家可以看一下。 Git 工作流程 Git分支管理策略   git flow本质上是...

qwfys
今天
1
0
Linux系统日志文件

/var/log/messages linux系统总日志 /etc/logrotate.conf 日志切割配置文件 参考https://my.oschina.net/u/2000675/blog/908189 dmesg命令 dmesg’命令显示linux内核的环形缓冲区信息,我们可...

chencheng-linux
今天
1
0
MacOS下给树莓派安装Raspbian系统

下载镜像 前往 树莓派官网 下载镜像。 点击 最新版Raspbian 下载最新版镜像。 下载后请,通过 访达 双击解压,或通过 unzip 命令解压。 检查下载的文件 ls -lh -rw-r--r-- 1 dingdayu s...

dingdayu
今天
0
0
spring boot使用通用mapper(tk.mapper) ,id自增和回显等问题

最近项目使用到tk.mapper设置id自增,数据库是mysql。在使用通用mapper主键生成过程中有一些问题,在总结一下。 1、UUID生成方式-字符串主键 在主键上增加注解 @Id @GeneratedValue...

北岩
今天
2
0
告警系统邮件引擎、运行告警系统

告警系统邮件引擎 cd mail vim mail.py #!/usr/bin/env python#-*- coding: UTF-8 -*-import os,sysreload(sys)sys.setdefaultencoding('utf8')import getoptimport smtplibfr......

Zhouliang6
今天
0
0
Java工具类—随机数

Java中常用的生成随机数有Math.random()方法及java.util.Random类.但他们生成的随机数都是伪随机的. Math.radom()方法 在jdk1.8的Math类中可以看到,Math.random()方法实际上就是调用Random类...

PrivateO2
今天
2
0
关于java内存模型、并发编程的好文

Java并发编程:volatile关键字解析    volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在...

DannyCoder
昨天
0
0
dubbo @Reference retries 重试次数 一个坑

在代码一中设置 成retries=0,也就是调用超时不用重试,结果DEBUG的时候总是重试,不是0吗,0就不用重试啊。为什么还是调用了多次呢? 结果在网上看到 这篇文章才明白 https://www.cnblogs....

奋斗的小牛
昨天
2
0
数据结构与算法3

要抓紧喽~~~~~~~放羊的孩纸回来喽 LowArray类和LowArrayApp类 程序将一个普通的Java数组封装在LowArray类中。类中的数组隐藏了起来,它是私有的,所以只有类自己的方法才能访问他。 LowArray...

沉迷于编程的小菜菜
昨天
0
0
spring boot应用测试框架介绍

一、spring boot应用测试存在的问题 官方提供的测试框架spring-boot-test-starter,虽然提供了很多功能(junit、spring test、assertj、hamcrest、mockito、jsonassert、jsonpath),但是在数...

yangjianzhou
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部