文档章节

将文本文件的内容存储在DataSet中的方法总结

彭泽0902
 彭泽0902
发布于 2016/11/24 18:47
字数 647
阅读 0
收藏 0

    项目中比较多的会对文件进行操作,例如文件的上传下载,文件的压缩和解压等IO操作。在.NET项目中较多的会使用DataSet,DataTable进行数据的缓存。

    项目中对文本文件的操作比较简单,但是如果需要将文本文件的内容写入系统的缓存中,操作起来,会稍微的繁琐一些。现在总结一个较为通用的方法,将文本文件的内容缓存进入DataSet数据集中。

private DataSet _iifSet;

        /// <summary>
        /// 将文本文件转化为DataSet
        /// </summary>
        /// <param name="filePath"></param>
        /// <returns></returns>
        public DataSet Parse(string filePath)
        {

        if (string.IsNullOrEmpty(filePath))
        {
          throw new ArgumentNullException(filePath);
        }

try
            {
                _iifSet = new DataSet();
                var fileText = System.IO.File.ReadAllText(filePath);
                var lines = fileText.Split('\n');
                CreateTables(lines, _iifSet);
                FillSet(lines, _iifSet);
                return _iifSet;
            }
            catch (IOException ex)
            {
                throw new IOException(ex.Message);
            }
            
        }

        /// <summary>
        /// 读取行数组并将其解析为数据集的表
        /// </summary>
        /// <param name="lines">String iif文件中的行数组</param>
        /// <param name="set"></param>
        private void FillSet(IReadOnlyList<string> lines, DataSet set)
        {
            for (var i = 0; i < lines.Count; i++)
            {
                if (IsTableHeader(lines[i]))
                {
                    continue;
                }
                if (lines[i] == "" || lines[i] == "\r" || lines[i] == "\n\r" || lines[i] == "\n")
                {
                    continue;
                }
                if (lines[i].IndexOf(";__IMPORTED__", StringComparison.Ordinal) != -1)
                {
                    continue;
                }
                var line = lines[i];
                while (!IsFullLine(line, set))
                {
                    i++;
                    line += lines[i];
                }
                ParseRecord(line, set);
            }
        }

        /// <summary>
        /// 解析记录
        /// </summary>
        /// <param name="line"></param>
        /// <param name="set"></param>
        private void ParseRecord(string line, DataSet set)
        {
            if (IsTableHeader(line))
            {
                return;
            }
            var tablename = line.Split('\t')[0];
            var parameters = CreateDataRowParams(line, set.Tables[tablename].Columns.Count);
            if (parameters.Length > 0)
                set.Tables[tablename].Rows.Add(parameters);
        }

        private bool IsFullLine(string line, DataSet set)
        {
            if (IsTableHeader(line))
            {
                return true;
            }
            var values = line.Split('\t').Length;
            var tableName = line.Split('\t')[0];
            var columns = set.Tables[tableName].Columns.Count;
            return values >= columns;
        }

        private bool IsTableHeader(string tab)
        {
            return tab.StartsWith("!");
        }


        /// <summary>
        /// 创建datatable
        /// </summary>
        /// <param name="lines"></param>
        /// <param name="set"></param>
        private void CreateTables(IReadOnlyList<string> lines, DataSet set)
        {
            foreach (var t in lines.Where(IsTableHeader))
            {
                set.Tables.Add(CreateTable(t));
            }
        }


        private DataTable CreateTable(string line)
        {
            var values = line.Split('\t');
            values[0] = values[0].Substring(1);
            var dt = new DataTable(values[0]);
            values[0] = null;
            foreach (var name in values)
            {
                if (string.IsNullOrEmpty(name))
                    continue;
                var dc = new DataColumn(name, typeof(string));
                try
                {
                    dt.Columns.Add(dc);
                }
                catch (DuplicateNameException)
                {
                    dc = new DataColumn(name + "_duplicateCol" + dt.Columns.Count);
                    dt.Columns.Add(dc);
                }
            }

            return dt;
        }

        public string GetTableName(string line)
        {
            var values = line.Split('\t');
            if (values[0].StartsWith("!"))
            {
                values[0] = values[0].Substring(1);
            }
            return values[0];
        }

        public readonly static object[] EmptyStringArray = { };

        private object[] CreateDataRowParams(string line, int maxLength)
        {
            var raw = line.Split('\t');
            var length = raw.Length - 1;
            if (length == 0 || maxLength == 0)
                return EmptyStringArray;
            if (length > maxLength)
                length = maxLength;
            var values = new string[length];
            for (var i = 0; i < length; i++)
            {
                values[i] = raw[i + 1];
            }

            if (values[values.Length - 1].EndsWith("\n"))
            {
                values[values.Length - 1] = values[values.Length - 1].Substring(0, values[values.Length - 1].LastIndexOf('\n'));
            }
            else if (values[values.Length - 1].EndsWith("\n\r"))
            {
                values[values.Length - 1] = values[values.Length - 1].Substring(0, values[values.Length - 1].LastIndexOf("\n\r", StringComparison.Ordinal));
            }
            else if (values[values.Length - 1].EndsWith("\r"))
            {
                values[values.Length - 1] = values[values.Length - 1].Substring(0, values[values.Length - 1].LastIndexOf('\r'));
            }

            return values;
        }

        protected virtual void Dispose(bool cleanAll)
        {
            _iifSet?.Dispose();
        }

        public void Dispose()
        {
            Dispose(true);
            GC.SuppressFinalize(this);
        }

     有关dataset的一些常用的操作,基本属性和方法在这里就不做介绍了。

© 著作权归作者所有

共有 人打赏支持
彭泽0902
粉丝 0
博文 44
码字总数 57771
作品 0
武汉
高级程序员
Spark SQL数据源

背景 Spark SQL是Spark的一个模块,用于结构化数据的处理。 使用Spark SQL的方式有2种,可以通过SQL或者Dataset API,这两种使用方式在本文都会涉及。 其中,通过SQL接口使用的方法具体又可分...

金珑
2017/10/28
0
0
厚积薄发,丰富的公用类库积累,助你高效进行系统开发(4)----CSV、Excel、INI文件、独立存储等文件相关

1、CSV文件和DataTable对象转换辅助类 CSVHelper 实现效果 1)本辅助类主要是用来方便实现CSV文件和DataTable对象的相互转换。 2)逗号分隔型取值格式(英文全称为Comma Separated Values,简...

长平狐
2012/08/22
103
0
厚积薄发,丰富的公用类库积累,助你高效进行系统开发(4)----CSV、Excel、INI文件、独立存储等文件相关

1、CSV文件和DataTable对象转换辅助类 CSVHelper 实现效果 1)本辅助类主要是用来方便实现CSV文件和DataTable对象的相互转换。 2)逗号分隔型取值格式(英文全称为Comma Separated Values,简...

长平狐
2012/06/11
559
0
[大数据之Spark]——Actions算子操作入门实例

Actions reduce(func) Aggregate the elements of the dataset using a function func (which takes two arguments and returns one). The function should be commutative and associative ......

青夜之衫
2017/12/04
0
0
ado.net技术总结

1、ado.net技术概述 ado.net是一组允许.net开发人员使用标准的,结构化的,甚至无连接的方式与数据交互的技术。使用ado.net技术可以使用一致的访问方式操作多种数据源,包括数据库、xml、exc...

andrewniu
2017/12/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JS:异步 - 面试惨案

为什么会写这篇文章,很明显不符合我的性格的东西,原因是前段时间参与了一个面试,对于很多程序员来说,面试时候多么的鸦雀无声,事后心里就有多么的千军万马。去掉最开始毕业干了一年的Jav...

xmqywx
今天
0
0
Win10 64位系统,PHP 扩展 curl插件

执行:1. 拷贝php安装目录下,libeay32.dll、ssleay32.dll 、 libssh2.dll 到 C:\windows\system32 目录。2. 拷贝php/ext目录下, php_curl.dll 到 C:\windows\system32 目录; 3. p...

放飞E梦想O
今天
0
0
谈谈神秘的ES6——(五)解构赋值【对象篇】

上一节课我们了解了有关数组的解构赋值相关内容,这节课,我们接着,来讲讲对象的解构赋值。 解构不仅可以用于数组,还可以用于对象。 let { foo, bar } = { foo: "aaa", bar: "bbb" };fo...

JandenMa
今天
1
0
OSChina 周一乱弹 —— 有人要给本汪介绍妹子啦

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子 :分享水木年华的单曲《中学时代》@小小编辑 手机党少年们想听歌,请使劲儿戳(这里) @须臾时光:夏天还在做最后的挣扎,但是晚上...

小小编辑
今天
21
5
centos7安装redis及开机启动

配置编译环境: sudo yum install gcc-c++ 下载源码: wget http://download.redis.io/releases/redis-3.2.8.tar.gz 解压源码: tar -zxvf redis-3.2.8.tar.gz 进入到解压目录: cd redis-3......

hotsmile
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部