将json文件转换为xls格式

原创
2016/06/12 15:17
阅读数 3.5K

对于数据分析人员来说,很多时候csv和xls格式的文件会更方面很多,但json格式作为网络数据传输通用格式,很多格式是以json格式保存,包括scrapy和pyspider等都是提供了默认的json格式,因此在很多场合需要将json格式转换为xls格式,笔者自己写了个转换脚本:

def get_data_from_dict(data, result):
    #如果key不存在,则设置为空
    for key in data:
        if key not in result:
            #如果一个key都不存在着直接加入一个key,否则选择第一个key的长度
            if not result.keys():
                result[key] = []
            else:
                result[key] = len(result[result.keys()[0]])*[""]
    #然后分别加入值
    for key in result:
        if key in data:
            result[key].append(data[key])
        else:
            result[key].append("")
    return result

def get_all_child(father_dict, spread_dict=None):
    '''将所有dict展开'''
    if spread_dict == None:
        spread_dict = {}
    for key in father_dict:
        if isinstance(father_dict[key], dict):
            spread_dict = get_all_child(father_dict[key], spread_dict)
        else:
            spread_dict[key] = father_dict[key]
    return spread_dict

通过json.load我们可以将json文件转换为python中的字典格式,因此处理json文件对于python来说其实就是对字典的处理,这里主要构建了两个函数,get_all_child()是用来将展开字典逐级展开,get_data_from_dict()则负责将字典的组合成pandas中的DataFrame样式格式,以一份安居客的json文件为例,可以关注我的github,附带送上数据,完整的代码如下:

#coding:utf8
import json
import six
import pandas as pd
from collections import defaultdict

def get_data_from_dict(data, result=None):
    #如果key不存在,则设置为空
    for key in data:
        if key not in result:
            #如果一个key都不存在着直接加入一个key,否则选择第一个key的长度
            if not result.keys():
                result[key] = []
            else:
                result[key] = len(result[result.keys()[0]])*[""]
    #然后分别加入值
    for key in result:
        if key in data:
            result[key].append(data[key])
        else:
            result[key].append("")
    return result

def get_all_child(father_dict, spread_dict=None):
    '''将所有dict展开'''
    if spread_dict == None:
        spread_dict = {}
    for key in father_dict:
        if isinstance(father_dict[key], dict):
            spread_dict = get_all_child(father_dict[key], spread_dict)
        else:
            spread_dict[key] = father_dict[key]
    return spread_dict

filename = u"安居客新房.json"
with open(filename,"r") as fr:
    result = defaultdict(list)
    for line in fr:
        linedata = json.loads(line)
        spread_data = get_all_child(linedata)
        result = get_data_from_dict(spread_data, result)
    data = pd.DataFrame(result)
    data.to_excel(u"安居客.xls",encoding="utf8")

---------------------END----WRITE----AT----http://my.oschina.net/Kanonpy/---------------------------

展开阅读全文
打赏
0
7 收藏
分享
加载中
http://j2e.kpoda.com/ json 2 excel的在线小工具
2017/05/30 16:10
回复
举报
更多评论
打赏
1 评论
7 收藏
0
分享
返回顶部
顶部