文档章节

java与unity3d通信之数据压缩

节节草
 节节草
发布于 2017/07/04 09:36
字数 1334
阅读 12
收藏 0
点赞 0
评论 0

最近项目中java、Untiy两端通信用的json,json相对纯字节通信,数据包要大很多,这就涉及到数据压缩了。untiy客户端最早用的C#自带的压缩算法,但在untiy上用就抛出异常。而后我建议他们使用lzma开源压缩算法,原来用过,在此贴出来,记录一下。

package com.kaka.util;

import SevenZip.Compression.LZMA.Decoder;
import SevenZip.Compression.LZMA.Encoder;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.UnsupportedEncodingException;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 * 7zip的lzma压缩,压缩比高,效率低
 *
 * @author zhoukai
 */
public final class Lzma {

    /**
     * lzma压缩
     *
     * @param is 压缩输入流
     * @param os 压缩后的输出流
     */
    public final static void compress(InputStream is, OutputStream os) {
        Encoder ec = new Encoder();
        try {
            ec.WriteCoderProperties(os);
            os.write(BitConverter.getBytes((long) is.available()));
            ec.Code(is, os, -1, -1, null);
        } catch (IOException ex) {
            Logger.getLogger(Lzma.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    /**
     * lzma压缩
     *
     * @param is 压缩输入流
     * @return 压缩后的输出流
     */
    public final static byte[] compress(InputStream is) {
        ByteArrayOutputStream os = new ByteArrayOutputStream();
        compress(is, os);
        return os.toByteArray();
    }

    /**
     * lzma压缩
     *
     * @param src 压缩输入字节数组
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(byte[] src) {
        return Lzma.compress(new ByteArrayInputStream(src));
    }

    /**
     * lzma压缩
     *
     * @param src 压缩输入字符串
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(String src) {
        return Lzma.compress(src.getBytes(Charset.utf8));
    }

    /**
     * lzma压缩
     *
     * @param src 压缩输入字符串
     * @param charset 字符串转字节的编码
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(String src, String charset) {
        byte[] bytes = null;
        try {
            bytes = src.getBytes(charset);
        } catch (UnsupportedEncodingException ex) {
            Logger.getLogger(Lzma.class.getName()).log(Level.SEVERE, null, ex);
        }
        return Lzma.compress(bytes);
    }

    /**
     * lzma压缩
     *
     * @param src 压缩输入字符串
     * @param charset 字符串转字节的编码
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(String src, java.nio.charset.Charset charset) {
        byte[] bytes = src.getBytes(charset);
        return Lzma.compress(bytes);
    }

    /**
     * lzma解压缩
     *
     * @param is 解压缩输入流
     * @param os 解压缩后的输出流
     */
    public final static void uncompress(InputStream is, OutputStream os) {
        Decoder dc = new Decoder();
        int propertiesSize = 5;
        byte[] properties = new byte[propertiesSize];
        try {
            if (is.read(properties, 0, propertiesSize) != propertiesSize) {
                throw new Exception("input .lzma file is too short");
            }
            if (!dc.SetDecoderProperties(properties)) {
                throw new Exception("Incorrect stream properties");
            }
            byte[] outSizeBytes = new byte[8];
            is.read(outSizeBytes, 0, outSizeBytes.length);
            long outSize = BitConverter.toLong(outSizeBytes, 0);
            dc.Code(is, os, outSize);
        } catch (Exception ex) {
            Logger.getLogger(Lzma.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    /**
     * lzma解压缩
     *
     * @param is 解压缩输入流
     * @return 解压缩后的输出字节数组
     */
    public final static byte[] uncompress(InputStream is) {
        ByteArrayOutputStream os = new ByteArrayOutputStream();
        try {
            uncompress(is, os);
        } catch (Exception ex) {
            Logger.getLogger(Lzma.class.getName()).log(Level.SEVERE, null, ex);
        }
        return os.toByteArray();
    }

    /**
     * lzma解压缩
     *
     * @param src 解压缩输入字节数组
     * @return 解压缩后的输出字节数组
     */
    public final static byte[] uncompress(byte[] src) {
        return Lzma.uncompress(new ByteArrayInputStream(src));
    }
}

C#客户端代码

using System;
using System.IO;
using SevenZip.Compression.LZMA;

public class Lzma {

    private static void Compress(Stream input, Stream output)
    {
        input.Position = 0;
        Encoder ec = new Encoder();
        ec.WriteCoderProperties(output);
        byte[] lenBytes = BitConverter.GetBytes((long)input.Length);
        if(BitConverter.IsLittleEndian)
        {
            Array.Reverse(lenBytes);
        }
        output.Write(lenBytes, 0, lenBytes.Length);
        ec.Code(input, output, -1, -1, null);
    }

    public static byte[] Compress(byte[] src)
    {
        Stream input = new MemoryStream(src);
        Stream output = new MemoryStream();
        Compress(input, output);
        output.Position = 0;
        byte[] bytes = new byte[output.Length];
        output.Read(bytes, 0, bytes.Length);
        input.Close();
        output.Flush();
        output.Close();
        return bytes;
    }

    public static byte[] CompressToUTF8Bytes(string src)
    {
        return Compress(System.Text.Encoding.UTF8.GetBytes(src));
    }

    private static void Uncompress(Stream input, Stream output)
    {
        input.Position = 0;
        Decoder dc = new Decoder();
        int propertiesSize = 5;
        byte[] properties = new byte[propertiesSize];
        if (input.Read(properties, 0, propertiesSize) != propertiesSize)
        {
            throw new Exception("input .lzma file is too short");
        }
        dc.SetDecoderProperties(properties);
        byte[] outSizeBytes = new byte[8];
        input.Read(outSizeBytes, 0, outSizeBytes.Length);
        if (BitConverter.IsLittleEndian)
        {
            Array.Reverse(outSizeBytes);
        }
        long outSize = BitConverter.ToInt64(outSizeBytes, 0);
        dc.Code(input, output, -1, outSize, null);
    }

    public static byte[] Uncompress(byte[] src)
    {
        Stream input = new MemoryStream(src);
        Stream output = new MemoryStream();
        Uncompress(input, output);
        output.Position = 0;
        byte[] bytes = new byte[output.Length];
        output.Read(bytes, 0, bytes.Length);
        input.Close();
        output.Flush();
        output.Close();
        return bytes;
    }

    public static string UncompressToUTF8String(byte[] src)
    {
        return System.Text.Encoding.UTF8.GetString(Uncompress(src));
    }

}

测试的时候,使用Lzma进行数据压缩压测效率不是很好,后面客户端人员发现了ICSharpCode.SharpZipLib这个库,于是又测试了一下gzip算法,还好java有点积累,工具类有现成的

package com.kaka.util;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.UnsupportedEncodingException;
import java.util.logging.Level;
import java.util.logging.Logger;
import java.util.zip.GZIPInputStream;
import java.util.zip.GZIPOutputStream;

/**
 * GZIP压缩,压缩比相对lzma较低,但压缩效率高
 *
 * @author zhoukai
 */
public final class GZip {

    /**
     * 压缩数据
     *
     * @param is 数据源
     * @param os 压缩后的数据
     */
    public final static void compress(InputStream is, OutputStream os) {
        try (GZIPOutputStream gos = new GZIPOutputStream(os)) {
            int count;
            byte data[] = new byte[256];
            while ((count = is.read(data, 0, 256)) != -1) {
                gos.write(data, 0, count);
            }
            gos.finish();
            gos.flush();
        } catch (Exception ex) {
            Logger.getLogger(GZip.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    /**
     * 压缩
     *
     * @param src 压缩源
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(byte[] src) {
        if (src == null) {
            return null;
        }
        if (src.length == 0) {
            return src;
        }
        byte[] bytes = null;
        try (ByteArrayOutputStream out = new ByteArrayOutputStream()) {
            try (GZIPOutputStream zip = new GZIPOutputStream(out)) {
                zip.write(src);
                zip.finish();
                zip.flush();
            }
            bytes = out.toByteArray();
        } catch (IOException ex) {
            Logger.getLogger(GZip.class.getName()).log(Level.SEVERE, null, ex);
        }
        return bytes;
    }

    /**
     * gzip压缩
     *
     * @param src 压缩输入字符串
     * @param charset 字符串转字节的编码
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(String src, String charset) {
        byte[] bytes = null;
        try {
            bytes = src.getBytes(charset);
        } catch (UnsupportedEncodingException ex) {
            Logger.getLogger(Lzma.class.getName()).log(Level.SEVERE, null, ex);
        }
        return compress(bytes);
    }

    /**
     * gzip压缩
     *
     * @param src 压缩输入字符串
     * @param charset 字符串转字节的编码
     * @return 压缩后的输出的字节数组
     */
    public final static byte[] compress(String src, java.nio.charset.Charset charset) {
        byte[] bytes = src.getBytes(charset);
        return compress(bytes);
    }

    /**
     * 解压缩
     *
     * @param src
     * @return
     */
    public final static byte[] uncompress(byte[] src) {
        if (src == null) {
            return null;
        }
        if (src.length == 0) {
            return src;
        }
        try (ByteArrayInputStream in = new ByteArrayInputStream(src)) {
            try (GZIPInputStream zip = new GZIPInputStream(in)) {
                byte[] bytes;
                try (ByteArrayOutputStream os = new ByteArrayOutputStream()) {
                    int count;
                    bytes = new byte[256];
                    while ((count = zip.read(bytes, 0, bytes.length)) != -1) {
                        os.write(bytes, 0, count);
                    }
                    bytes = os.toByteArray();
                }
                return bytes;
            }
        } catch (IOException ex) {
            Logger.getLogger(GZip.class.getName()).log(Level.SEVERE, null, ex);
        }
        return null;
    }
}

C# gzip工具类

using System.IO;
using ICSharpCode.SharpZipLib.GZip;


public class GZip {

    public static byte[] Compress(byte[] src)
    {
        MemoryStream ms = new MemoryStream();
        GZipOutputStream gzip = new GZipOutputStream(ms);
        gzip.Write(src, 0, src.Length);
        gzip.Close();
        byte[] bytes =  ms.ToArray();
        ms.Close();
        return bytes;
    }

    public static byte[] Uncompress(byte[] src)
    {
        MemoryStream ms = new MemoryStream(src);
        GZipInputStream gzip = new GZipInputStream(ms);
        MemoryStream re = new MemoryStream();
        int count = 0;
        byte[] data = new byte[2048];
        while ((count = gzip.Read(data, 0, data.Length)) != 0)
        {
            re.Write(data, 0, count);
        }
        byte[] depress = re.ToArray();
        ms.Close();
        re.Close();
        gzip.Close();
        return depress;
    }

    public static byte[] CompressToUTF8Bytes(string src)
    {
        return Compress(System.Text.Encoding.UTF8.GetBytes(src));
    }

    public static string UncompressToUTF8String(byte[] src)
    {
        return System.Text.Encoding.UTF8.GetString(Uncompress(src));
    }

}

 

© 著作权归作者所有

共有 人打赏支持
节节草
粉丝 43
博文 7
码字总数 4234
作品 0
长沙
后端工程师
Unity发布Android版本

先大概说一下我自己的经历吧,总的大概用了10小时吧。刚开始装的是jre和Android stdio,然后发现要装的是JDK和SDK,然后去装JDK和SDK,装JDK很顺利,装SDK失败了,原因未知。后面是用 Androi...

a_clear_chen ⋅ 05/08 ⋅ 0

Unity3D利用Webservice读取数据库

相信大家从事Unity3D开发的,无论是做单机的还是做网游的,特别是稍微大点的项目,都会用到数据库,但是网络上关于Unity3D如何连接数据库的教程少之甚少,搜来搜去无非是那篇Unity3D如何连接...

qq_30279553 ⋅ 04/22 ⋅ 0

gRPC 1.11.0 发布,Google 高性能 RPC 框架

gRPC 1.11.0 发布了,gRPC-java 是谷歌 RPC 框架 gRPC 的 Java 实现。 gRPC 是一个高性能、开源、通用的 RPC 框架,面向移动和 HTTP/2 设计,是由谷歌发布的首款基于 Protocol Buffers 的 RP...

周其 ⋅ 04/14 ⋅ 0

关于Unity3D Assets资源目录结构管理

u3d默认目录 ) (插件)不是C#语言写一些插件和库,比如javajsC++,u3d默认目录,u3d是C#编译器,其他语言只有这个目录才能识别 资源,需要动态加载的资源放在这里,打包时在这个文件夹里的所有文件...

lizhenxiqnmlgb ⋅ 05/23 ⋅ 0

Java 实现的 SSH 库 - Java-SSH

JSSH 是一个实现了SSH 1.5客户端协议的Java类库,可以被应用于其他Java应用程序. 需要注意的是,JSSH不能用于applet,因为它需要访问本地文件系统来检查服务器的host key是否存在于~/.ssh/kn...

匿名 ⋅ 2012/04/12 ⋅ 0

JavaWeb07-HTML篇笔记(二)

1.1 案例一:使用JDBC完成CRUD的操作:1.1.1 需求: 对分类管理使用JDBC进行CRUD的操作. 1.1.2 分析:1.1.2.1 技术分析: 【JDBC的概述】 Ø JDBC:Java DataBase Connectivity Java数据库的连...

我是小谷粒 ⋅ 05/16 ⋅ 0

ubuntu 下安装java环境

ubuntu 16.04 安装常用软件 1初始化电脑 1.1 512G硬盘分区 1.2拷贝安装包 1.3更新软件 1.5修改hosts 1.4创建常用文件夹 2安装软件包 2.1卸载LibreOffice 2.2安装haroopad 类似markdown 2.3安...

paascloud ⋅ 2017/02/04 ⋅ 0

Java开发学习之三版本简介 java编程

  Java编程语言,在更迭迅速的互联网领域多年屹立不倒,足以得见Java这门语言旺盛的生命力,因此,会有很多想要进入互联网领域的朋友,想要学Java来转行开发。但是,所谓“隔行如隔山”,j...

老男孩Linux培训 ⋅ 06/05 ⋅ 0

做几道基础的Java测试题,看看最近有进步吗?欢迎来学习

Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java 技术具有卓越的通用性、高效性、平台移植性和安全性,广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互...

启示录是真的 ⋅ 05/24 ⋅ 0

Java多线程学习(五)线程间通信知识点补充

系列文章传送门: Java多线程学习(一)Java多线程入门 Java多线程学习(二)synchronized关键字(1) java多线程学习(二)synchronized关键字(2) Java多线程学习(三)volatile关键字 Ja...

一只蜗牛呀 ⋅ 04/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 33分钟前 ⋅ 0

VS2015配置并运行汇编(一步一步照图做)【vs2017的链接在最后】

前言 我是上学期学的汇编,因为有vs又不想用课上教的麻烦的dosbox以及masm32,但是一直没找到高亮插件和能调试的(难在运行不了而找不到答案上,出现的错误在最后放出,还请先达们不吝指点)...

simpower ⋅ 43分钟前 ⋅ 0

一起读书《深入浅出nodejs》-node模块机制

node 模块机制 前言 说到node,就不免得提到JavaScript。JavaScript自诞生以来,经历了工具类库、组件库、前端框架、前端应用的变迁。通过无数开发人员的努力,JavaScript不断被类聚和抽象,...

小草先森 ⋅ 46分钟前 ⋅ 0

Java桌球小游戏

其实算不上一个游戏,就是两张图片,不停的重画,改变ball图片的位置。一个左右直线碰撞的,一个有角度碰撞的。 左右直线碰撞 package com.bjsxt.test;import javax.swing.*;import j...

森林之下 ⋅ 53分钟前 ⋅ 0

你真的明白RPC 吗?一起来探究 RPC 的实质

你真的明白RPC 吗?一起来探究 RPC 的实质 不论你是科班出身还是半路转行,这么优秀的你一定上过小学语文,那么对扩句和缩句你一定不陌生。缩句就是去除各种修饰提炼出一句话的核心,而不失基...

AI9o後 ⋅ 54分钟前 ⋅ 0

z-index设置失效?

今天碰到了一个问题,就是在给li设置提示框的时候,有用到遮罩效果,本来想把对应的出现在最顶层,可是不管将li设置的z-index值设为多大,li都没有出现在遮罩层之上。 我在网上查了z-index设...

IrisHunag ⋅ 今天 ⋅ 0

CyclicBarrier、CountDownLatch以及Semaphore使用及其原理分析

CyclicBarrier、CountDownLatch以及Semaphore是Java并发包中几个常用的并发组件,这几个组件特点是功能相识很容易混淆。首先我们分别介绍这几个组件的功能然后再通过实例分析和源码分析其中设...

申文波 ⋅ 今天 ⋅ 0

Java对象的序列化与反序列化

Java对象的序列化与反序列化

Cobbage ⋅ 今天 ⋅ 0

Sqoop

1.Sqoop: 《=》 SQL to Hadoop 背景 1)场景:数据在RDBMS中,我们如何使用Hive或者Hadoop来进行数据分析呢? 1) RDBMS ==> Hadoop(广义) 2) Hadoop ==> RDBMS 2)原来可以通过MapReduce I...

GordonNemo ⋅ 今天 ⋅ 0

全量构建和增量构建的区别

1.全量构建每次更新时都需要更新整个数据集,增量构建只对需要更新的时间范围进行更新,所以计算量会较小。 2.全量构建查询时不需要合并不同Segment,增量构建查询时需要合并不同Segment的结...

无精疯 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部