文档章节

JSON保存文件时候不丢转义符号

屌丝Lee
 屌丝Lee
发布于 2015/12/02 23:32
字数 687
阅读 405
收藏 1

这些天在给公司里做mcq,hbase版本升级的测试,要求数量千万级的mcq,hbase读写。

因为数据太大,中间需要保存json格式的文件,自己纱布呵呵地使用了FileWriter然后数据错误地一塌糊涂。

在各位需要保存json到文本时候,千万注意别用String形式保存,会有很多麻烦。个人使用的最后方案是

net.sf.json包+FileInputStream,代码如下:

private static String protoToJson(List<Column> rowkey, List<Column> values, int tableId) {
		JSONObject json=new JSONObject();
		json.accumulate("type", "mutation");
		JSONArray mutations=new JSONArray();
		JSONObject mutation=new JSONObject();
		mutation.accumulate("kind", "PUT");
		mutation.accumulate("table_id", tableId);
		mutation.accumulate("timestamp", 1445221080071L);
		
		JSONArray keys=new JSONArray();
		JSONArray value=new JSONArray();
			
		// 处理rowkey
		for (int i = 0; i < rowkey.size(); i++) {

			ColumnProto cp=rowkey.get(i).toProto();
			JSONObject onekey=new JSONObject();
			onekey.accumulate("column_id", cp.getColumnId());
			switch(rowkey.get(i).getColumnType().getNumber()){
			case 1:
				onekey.accumulate("int_value", cp.getIntValue());
				break;
			
			case 3:
				onekey.accumulate("double_value", cp.getDoubleValue());
				break;
			case 4:
				onekey.accumulate("string_value", cp.getBytesValue().toStringUtf8());
				break;
			}
			keys.add(onekey);
		}
		mutation.accumulate("keys", keys);
		// 处理value
		for (int j = 0; j < values.size(); j++) {
			ColumnProto cp=values.get(j).toProto();
			JSONObject onevalue=new JSONObject();
			onevalue.accumulate("column_id", cp.getColumnId());
			switch(values.get(j).getColumnType().getNumber()){
			case 1:
				onevalue.accumulate("int_value", cp.getIntValue());
				break;
			case 3:
				onevalue.accumulate("double_value", cp.getDoubleValue());
				break;
			case 4:
				onevalue.accumulate("string_value", cp.getBytesValue().toStringUtf8());
				break;
			}
				
			value.add(onevalue);
		}
		mutation.accumulate("value", value);
		mutations.add(mutation);
		json.accumulate("mutations", mutations);
		return json.toString();
	}




其中的重点就是:使用sf.json组建json数据能够方便地实现字符转义,(公司很多人用阿里巴巴的fastjson,个人觉得没有普遍适用性...),第二步就是写文件时候要使用二进制写入文件这样json中的转义符号就不会丢掉!
private static void toWrite(String path, String content) {
		File f = new File(path);
		try {
			if (!f.exists()) {
				f.createNewFile();
			}
			FileOutputStream fw = new FileOutputStream(f, true);
			fw.write(content.getBytes());
			fw.write("\n".getBytes());
			fw.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}



白痴地测试过程。。。

--------------------------------------------------------------------------------------------------

测试过程是读取hbase数据解析为json再插入新的hbase,再将新hbase数据扫出解析为json,最终数据对比。中间的数据格式都是json。由于数据量太大不得不把json格式的数据保存到本地文件。但是hbase存储的是json解析后按照column拆分的数据,而且公司通讯过程中对部分数据使用了protobuf序列化了数据,使得从hbase扫出的数据比较混乱,生成json也比较复杂。

这时候出现了一个白痴的场景,为了拼接json更快捷,我自作聪明地自己写了一个json的字符串拼接,然后用FIleWriter写入文件。结果很悲剧:json数据中存在各种特殊字符

1.引号转译

2.反斜杠转译

3.换行符转译

4.特殊字符(韩文,日文等)

这些字符在使用String类型进行Writer时候会出现由于系统编码与内容编码不一致导致许多字符丢失!其中最明显的就是韩文的丢失。



© 著作权归作者所有

屌丝Lee
粉丝 1
博文 35
码字总数 14663
作品 0
杭州
私信 提问
使用freemarker生成word文档时特殊字符的处理

在使用freemarker生成word的时候遇到某些生成的文件无法打开的问题,经过排查发现是因为特殊符号插入到模板里导致文档结构发生了错误,于是将所有特殊符号放在word文件里,再另存为xml文件,...

外来物种
2016/05/04
1K
0
【我的Android进阶之旅】关于解析json数据中自带转义符号的正确操作

版权声明:本文为【欧阳鹏】原创文章,欢迎转载,转载请注明出处! 【http://blog.csdn.net/ouyang_peng】 https://blog.csdn.net/qq446282412/article/details/82656773 一、问题描述 在实现...

欧阳鹏
2018/09/12
0
0
使用bejson来解析和查看json数据

网址是 http://www.bejson.com Be Json Make Json Easy 1 JSON格式化校验 很多人在得到JSON数据后,一时没有办法判断JSON数据格式是否正确,是否少或多符号而导致程序不能解析,这个功能正好能帮...

废柴大叔
2013/02/18
4.4K
2
KindEditor 阿里云服务器上里的双引号被加额 转义符 \

我本地环境是window ,线上环境是linux 阿里云服务器 ,本地服务器编辑器保存正确 一换到线上服务器 它多了一个转义符号,就是只要有双引号的都加了转义符号,哪怕我存数据库的时候 用正则去...

PHP攻城狮35
2017/04/24
234
0
android json解析

JSON数据格式,在Android中被广泛运用于客户端和网络(或者说服务器)通信,非常有必要系统的了解学习。 恰逢本人最近对json做了一个简单的学习,特此总结一下,以飨各位。 为了文章简明清晰,...

迷途d书童
2012/03/26
6.7K
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0
hash slot(虚拟桶)

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射...

李朝强
昨天
4
0
Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
昨天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部