文档章节

Java 读取、写入文件——解决乱码问题

learn_more
 learn_more
发布于 2015/03/09 21:05
字数 1399
阅读 16627
收藏 35

    读取文件流时,经常会遇到乱码的现象,造成乱码的原因当然不可能是一个,这里主要介绍因为文件编码格式而导致的乱码的问题。首先,明确一点,文本文件与二进制文件的概念与差异。

    文本文件是基于字符编码的文件,常见的编码有ASCII编码,UNICODE编码、ANSI编码等等。二进制文件是基于值编码的文件,你可以根据具体应用,指定某个值是什么意思(这样一个过程,可以看作是自定义编码。)

    因此可以看出文本文件基本上是定长编码的(也有非定长的编码如UTF-8)。而二进制文件可看成是变长编码的,因为是值编码嘛,多少个比特代表一个值,完全由你决定。

    对于二进制文件,是千万不能使用字符串的,因为字符串默认初始化时会使用系统默认编码,然而,二进制文件因为自定义编码自然与固定格式的编码会有所冲突,所以对于二进制的文件只能采用字节流读取、操作、写入。

    对于文本文件,因为编码固定,所以只要在读取文件之前,采用文件自身的编码格式解析文件,然后获取字节,再然后,通过指定格式初始化字符串,那么得到的文本是不会乱码的。虽然,二进制文件也可以获取到它的文本编码格式,但是那是不准确的,所以不能同日而语。

    具体操作如下:

1)获取文本文件的格式

public static String getFileEncode(String path) {
		String charset ="asci";
        byte[] first3Bytes = new byte[3];
        BufferedInputStream bis = null;
        try {
            boolean checked = false;
            bis = new BufferedInputStream(new FileInputStream(path));
            bis.mark(0);
            int read = bis.read(first3Bytes, 0, 3);
            if (read == -1)
                return charset;
            if (first3Bytes[0] == (byte) 0xFF && first3Bytes[1] == (byte) 0xFE) {
                charset = "Unicode";//UTF-16LE
                checked = true;
            } else if (first3Bytes[0] == (byte) 0xFE && first3Bytes[1] == (byte) 0xFF) {
                charset = "Unicode";//UTF-16BE
                checked = true;
            } else if (first3Bytes[0] == (byte) 0xEF && first3Bytes[1] == (byte) 0xBB && first3Bytes[2] == (byte) 0xBF) {
                charset = "UTF8";
                checked = true;
            }
            bis.reset();
            if (!checked) {
                int len = 0;
                int loc = 0;
                while ((read = bis.read()) != -1) {
                    loc++;
                    if (read >= 0xF0)
                        break;
                    if (0x80 <= read && read <= 0xBF) //单独出现BF以下的,也算是GBK
                        break;
                    if (0xC0 <= read && read <= 0xDF) {
                        read = bis.read();
                        if (0x80 <= read && read <= 0xBF) 
                        //双字节 (0xC0 - 0xDF) (0x80 - 0xBF),也可能在GB编码内
                            continue;
                        else
                            break;
                    } else if (0xE0 <= read && read <= 0xEF) { //也有可能出错,但是几率较小
                        read = bis.read();
                        if (0x80 <= read && read <= 0xBF) {
                            read = bis.read();
                            if (0x80 <= read && read <= 0xBF) {
                                charset = "UTF-8";
                                break;
                            } else
                                break;
                        } else
                            break;
                    }
                }
                //TextLogger.getLogger().info(loc + " " + Integer.toHexString(read));
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (bis != null) {
                try {
                    bis.close();
                } catch (IOException ex) {
                }
            }
        }
        return charset;
	}

	private static String getEncode(int flag1, int flag2, int flag3) {
		String encode="";
		// txt文件的开头会多出几个字节,分别是FF、FE(Unicode),
		// FE、FF(Unicode big endian),EF、BB、BF(UTF-8)
		if (flag1 == 255 && flag2 == 254) {
			encode="Unicode";
		}
		else if (flag1 == 254 && flag2 == 255) {
			encode="UTF-16";
		}
		else if (flag1 == 239 && flag2 == 187 && flag3 == 191) {
			encode="UTF8";
		}
		else {
			encode="asci";// ASCII码
		}
		return encode;
	}

2)通过文件的编码格式读取文件流

/**
	 * 通过路径获取文件的内容,这个方法因为用到了字符串作为载体,为了正确读取文件(不乱码),只能读取文本文件,安全方法!
	 */
	public static String readFile(String path){
		String data = null;
		// 判断文件是否存在
		File file = new File(path);
		if(!file.exists()){
			return data;
		}
		// 获取文件编码格式
		String code = FileEncode.getFileEncode(path);
		InputStreamReader isr = null;
		try{
			// 根据编码格式解析文件
			if("asci".equals(code)){
				// 这里采用GBK编码,而不用环境编码格式,因为环境默认编码不等于操作系统编码 
				// code = System.getProperty("file.encoding");
				code = "GBK";
			}
			isr = new InputStreamReader(new FileInputStream(file),code);
			// 读取文件内容
			int length = -1 ;
			char[] buffer = new char[1024];
			StringBuffer sb = new StringBuffer();
			while((length = isr.read(buffer, 0, 1024) ) != -1){
				sb.append(buffer,0,length);
			}
			data = new String(sb);
		}catch(Exception e){
			e.printStackTrace();
			log.info("getFile IO Exception:"+e.getMessage());
		}finally{
			try {
				if(isr != null){
					isr.close();
				}
			} catch (IOException e) {
				e.printStackTrace();
				log.info("getFile IO Exception:"+e.getMessage());
			}
		}
		return data;
	}

3)通过文件指定的格式写入文件

/**
	 * 按照指定的路径和编码格式保存文件内容,这个方法因为用到了字符串作为载体,为了正确写入文件(不乱码),只能写入文本内容,安全方法
	 * 
	 * @param data
	 *          将要写入到文件中的字节数据
	 * @param path
	 *          文件路径,包含文件名
	 * @return boolean 
	 * 			当写入完毕时返回true;
	 */
	public static boolean writeFile(byte data[], String path , String code){
		boolean flag = true;
		OutputStreamWriter osw = null;
		try{
			File file = new File(path);
			if(!file.exists()){
				file = new File(file.getParent());
				if(!file.exists()){
					file.mkdirs();
				}
			}
			if("asci".equals(code)){
				code = "GBK";
			}
			osw = new OutputStreamWriter(new FileOutputStream(path),code);
			osw.write(new String(data,code));
			osw.flush();
		}catch(Exception e){
			e.printStackTrace();
			log.info("toFile IO Exception:"+e.getMessage());
			flag = false;
		}finally{
			try{
				if(osw != null){
					osw.close();
				}
			}catch(IOException e){
				e.printStackTrace();
				log.info("toFile IO Exception:"+e.getMessage());
				flag = false;
			}
		}
		return flag;
	}

4)对于二进制文件而且内容很少的,例如Word文档等,可以使用如下方式读取、写入文件

/**
	 * 从指定路径读取文件到字节数组中,对于一些非文本格式的内容可以选用这个方法
	 * 			457364578634785634534
	 * @param path
	 *          文件路径,包含文件名
	 * @return byte[]
	 * 			 文件字节数组
	 *            
	 */
	public static byte[] getFile(String path) throws IOException {
		FileInputStream stream=new FileInputStream(path);
		int size=stream.available();
		byte data[]=new byte[size];
		stream.read(data);
		stream.close();
		stream=null;
		return data;
	}



	/**
	 * 把字节内容写入到对应的文件,对于一些非文本的文件可以采用这个方法。
	 * @param data
	 *            将要写入到文件中的字节数据
	 * @param path
	 *            文件路径,包含文件名
	 * @return boolean isOK 当写入完毕时返回true;
	 * @throws Exception
	 */
	public static boolean toFile(byte data[], String path) throws Exception {
		FileOutputStream out=new FileOutputStream(path);
		out.write(data);
		out.flush();
		out.close();
		out=null;
		return true;
	}


© 著作权归作者所有

learn_more
粉丝 93
博文 240
码字总数 210196
作品 0
深圳
程序员
私信 提问
加载中

评论(3)

fishingpig
fishingpig
asci 这里有误,应修改为ascii
learn_more
learn_more 博主

引用来自“897429923”的评论

博主你好,这篇文章对我帮助很大,可以转载吗?
当然可以,希望您能走得更远,加油!
897429923
897429923
博主你好,这篇文章对我帮助很大,可以转载吗?
Informix数据库的乱码问题

Informix是IBM旗下的一款数据库,要不是这个项目需要,估计这辈子我都不知道居然还有这么一款数据库。想来公司的项目遍布全国各地,各种部署环境各种应用场景应有尽有,七七八八的问了一大堆...

Sheamus
2015/02/06
101
0
JAVA之编码/解码 -- 各种环境下可能会发生的乱码问题及解决方案

工作中经常遇到java编码问题,由于缺乏研究,总是无法给出确切的答案,这个周末在网上查了一些资料,在此做些汇总。 问题一:在java中读取文件时应该采用什么编码? Java读取文件的方式总体可...

roockee
2013/10/22
275
0
MenuItem 显示中文乱码问题解决方案

MenuItem 显示中文乱码问题解决方案 今天在使用Java做系统托盘图标(TrayIcon),需要为其增加一个右键弹出菜单(PopupMenu),在使用菜单项(MenuItem)时,遇到了一个非常痛苦的事情:中文乱码~...

Java编程思想
2013/10/17
509
0
java编程学习:文件流操作!

Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java 技术具有卓越的通用性、高效性、平台移植性和安全性,广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互...

Java小辰
2018/06/04
0
0
一例 jvm file.encoding 属性引起的 MapReduce/HBase 乱码问题

1、问题: 最近在往 HBase 写中文的时候,发现 hbase 查出来的数据会有部分中文乱码了,而部分中文又是正常的,按理来说,一般的乱码问题要么全乱,要么不乱。考虑到出现中文的地方都是来源于...

大数据之路
2013/08/28
3.2K
4

没有更多内容

加载失败,请刷新页面

加载更多

Go 关闭 channel 的 close 方法

在 Go 中我们所以 close() 来关闭一个 channel 官方的注释如下 The close built-in function closes a channel, which must be either bidirectional or send-only. It should be executed o......

mickelfeng
20分钟前
3
0
语音转文字什么方法比较简单

在很多时候一些比较重要的对话需要录制下来,在录制完成后还需要整理出文字,可是长时间的录音内容想要整理出文字是非常的麻烦的。需要花费大量的时间将录制的声音转换成文字,那么想要简单快...

401恶户
23分钟前
5
0
IIS7配置thinkphp5项目到public目录下

有个项目,tp5写的,要配置到项目的public目录下,一开始报错了...后面删除了配置,重新配置成功了,记录一下过程 1.首先,将网站根目录变为你的public目录下 2.添加解析程序的CGI,这里选择你需要解...

老bia同学
28分钟前
10
0
Redis主从复制的配置和实现原理

Redis的持久化功能在一定程度上保证了数据的安全性,即便是服务器宕机的情况下,也可以保证数据的丢失非常少。通常,为了避免服务的单点故障,会把数据复制到多个副本放在不同的服务器上,且...

TurboSanil
30分钟前
8
0
counsul 集群

1 master节点 cat << EOF > /lib/systemd/system/consul.service[Unit]Description=consul-masterAfter=network-online.target [Service]ExecStart=/bin/sh -c 'consul agent ......

拜了个拜
30分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部