文档章节

【巨杉案例】SequoiaDB+Spark搭建医院临床知识库系统

巨杉数据库
 巨杉数据库
发布于 2017/05/24 10:24
字数 3032
阅读 13
收藏 2

1.背景介绍

 

从20世纪90年代数字化医院概念提出到至今的20多年时间,数字化医院(Digital Hospital)在国内各大医院飞速的普及推广发展,并取得骄人成绩。不但有数字化医院管理信息系统(HIS)、影像存档和通信系统(PACS)、电子病历系统(EMR)和区域医疗卫生服务(GMIS)等成功实施与普及推广,而且随着日新月异的计算机技术和网络技术的革新,进一步为数字化医院带来新的交互渠道譬如:远程医疗服务,网上挂号预约。

 

随着IT技术的飞速发展,80%以上的三级医院都相继建立了自己的医院信息系统(HIS)、电子病历系统(EMR)、合理用药系统(PASS)、检验管理系统(LIS)、医学影像存储与共享系统(PACS)以及移动查房、移动护理系统以及与大量的第三方接口整合应用,IT在医疗领域已经进入了一个大数据时代,随着HIS的广泛应用及其功能的不断完善,HIS收集了大量的医疗数据。

 

进入2012年,大数据及相关的大数据处理技术越来越多地被国人提及,人们也普遍的接受大数据的概念,大数据技术也影响着我们的日常生活,互联网行业已经得到广泛应用,电信、银行等行业也已经在广泛尝试使用大数据技术提供更稳健和优质的服务。

 

在目前情况下,医疗IT系统收集了这些集其有价值的数据,但是这些大量的有价值的历史医疗数据并没有发挥出其应有的价值,不能为一线临床医生提供医疗诊断辅助,也不能为医院管理和经营决策提供必须的支持。

 

针对以上现状,思考拟利用医院现有的历史就诊记录、处方、诊断、病历数据,挖掘出有价值的基于统计学的医学规则、知识,并基于这些规则、知识信息构建专业的临床知识库,为一线医务人员提供专业的诊断、处方、用药推荐功能,基于强大的关联推荐能力,极大的提高医疗服务质量,减轻一线医疗人员的工作强度。

 

2.主要技术架构介绍

2.1 SequoiaDB

SequoiaDB巨杉数据库,是一款企业级分布式NewSQL数据库,自主研发并拥有完全自主知识产权,没有基于任何其他外部的开源数据库源代码。SequoiaDB支持标准SQL、事务操作、高并发、分布式、可扩展、与双引擎存储等特性,并已经作为商业化的数据库产品开源。

 

图片1.png

 

SequoiaDB采用JSON文档类型定义数据存储模型(类对象存储)。JSON作为当今应用设计中主流的存储与通讯协议格式,使用的数据模型与平台、语言无关,从而为企业内异构数据的整合提供了标准方式。传统企业内存在大量的结构化数据资产需要用分布式大数据的手段处理,同时又希望尽量保留其关系型结构,JSON数据模型则恰好满足这些需求。

 

除了JSON存储引擎以外,为了提高非结构化文件的读写性能,SequoiaDB核心引擎提供了分布式块存储模式,可以将非结构化大文件按照固定大小的数据块进行切分并存放于不同分区。这一功能可以实现海量非结构化文件的存储,可以引用于如影像存储等场景。

 

 

2.2 Spark

Spark是UC Berkeley大学AMP实验室开源的类似MapReduce的计算框架,它是一个基于内存的集群计算系统,最初的目标是解决MapReduce磁盘读写的开销问题,当前最新的版本是1.5.0。Spark—经推出,就以它的高性能和易用性吸引着很多大数据研究人员,在众多爱好者的努力下,Spark逐渐形成了自己的生态系统( Spark为基础,上层包括Spark SQL,MLib,Spark Streaming和GraphX),并成为Apache的顶级项目。

 

Spark的核心概念是弹性分布式存储(Resilient Distributed Datasets, RDD)间,它是Spark对分布式内存进行的抽象,使用者可以像操作本地数据集一样操作RDD,从而可以将精力集中于业务处理。在Spark程序中,数据的操作都是基于RDD的,例如经典的WordCount程序,其在Spark编程模型下的操作方式如下图所示:

 

418399891843981826.jpg

 

可以看到Spark先从文件系统抽象出RDD1,然后由RDD1经过flatMap算子转换得到RDD2,RDD2再经过reduceByKey算子得到RDD3,最后RDD3中的数据重新写回文件系统,一切操作都是基于RDD的。

 

 

3.思路与架构

经过多方面的思考,最终决定基于Spark技术进行构建和实现医院临床知识库系统,采用SequoiaDB构建底层数据存储平台,做为大数据的存储中心,采用Spark构建大数据分析平台,基于AgileEAS.NET SOA中间件构建ETL数据抽取转换工具(后期部分换用了Pentaho Kettle),基于AgileEAS.NET SOA中间件构建知识库的服务门户,通过WCF/WebService与HIS系统进行业务整合集成,使用AgileEAS.NET SOA+FineUI构建基础字典管理以后分析结构的图像化展示功能。

 

我们选择了SequoiaDB做为大数据存储中心,为此我还特意的为SequoiaDB完成了C#驱动,最初我们选择了Spark1.3.1版本之上使用scala2.10开发完成了医院临床知识库系统,项目后期我们把计算框架也由Spark1.3.1升级到了Spark1.6.2(Spark已经于近期发布了2.0版本,各种性能稳定性大幅提升)。

 

考虑到Spark都部署在Linux的情况,对于Spark分析的结果输出存储在也存储在SequoiaDB巨杉数据库之中。Spark数据分析部分的代码使用IntelliJ IDEA 14.1.4工具进行编写,其他部分的代码使用VS2010进行编写。

 

3.1 总体架构

整个系统由数据采集层、存储分析层和应用逻辑层三大部分以及本系统所选所以来的外部数据源。本系统的外部数据源目前主要是医院信息系统所产生的临床数据,目前主要集中在HIS系统之中,后期将采依赖于EMR、LIS、PACS系统。

773530307508965376.jpg

系统架构图

数据采集层: 主要负责从临床业务系统采集海量历史临床数据同,历史记录采集方式分为批采集和实时采集,在数据采集过程之中对原始数据进行格工检查,并对原始数据进行清洗和转换,并将处理后的数据存储在大数据仓库之中。

 

存储分析层: 主要负责数据存储以及数据分析两大部分业务,经过清洗转换的合理有效数据被存储在大数据集群之中,使用JSON格式,大数据存储引用使用SequoiaDB数据库,数据分析部分由Spark集群来完成,大数据存储经由Spark导入并进行分析,分析结果写入临床知识数据库,临床知识数据库也使用SequoiaDB巨杉数据库进行存储。

 

应用逻辑层: 主要负责人机交互以及分析结构回馈临床系统的渠道,通过WebUI的方式向临床医生、业务管理人员提供列表式、图像化的知识展示,也为临床系统的业务辅助、推荐功能提供调用的集成API,目前API主要通过WebService、WebAPI两种方式提供。

 

 

3.2 系统数据流程

 

21747998712426118.jpg

 

整个系统经由数据源数据采集,写入大数据存储SequoiaDB集群,然后由Spark进行分析计算,分析生成的临床知识再写入SequoiaDB知识库,经由WebUI以及标准的API交由临床使用。

 

 

3.3 数据导入流程

 

769465597547557356.jpg

 

 

 

历史数据的采集导入使用初期使用AgileEAS.NET SOA 的计划任务配何C#脚本进行实现,由计划任务进行协调定时执行,具体的数据导入代码根据不同的临床业务系统不同进行脚本代码的调整,也可以使用Pentaho Kettle进行实现,通过Pentaho Kettle可配置的实现数据的导入。

 

3.4 系统物理架构

临床数据源为本系统进行分析的数据来源,源自于临床HIS、EMR,目前医院的HIS使用SQL Server 2008 R2数据库,EMR使用ORACLE 11G数据库,运行于Windows2008操作系统之上。

 

SequoiaDB集群为大数据存储数制库集群,目前使用SequoiaDB v2.0,运行于Centos6.5操作系统之上,根据业务来规模使用2-16节点集群,其用于存储经过清洗转换处理的海量历史临床数据,供Spark集群进行分析,以及供应SOA服务器进行历史数据查询和历史相关推荐使用。

 

Spark集群为本系统的分析计算核心节点,用于对SequoiaDB集群之中的历史数据进行分析,生成辅助临床医生使用的医学知识,本集群根据业务来规模使用2-16节点集群,使用Centos6.5操作系统,安装JAVA1.7.79运行环境、scala2.11.4语言,使用Spark1.3.1分析框架。

 

同时,SequoiaDB作为作为本系统的知识库存储数据库时。Spark集群所生产的分析结构写入本数据库,经由SOA服务器和Web服务处理供临床系统集成使用和WebGUI展现。

 

SOA Server为本系统的对外接口应用服务器,向临床业务系统和Web Server提供业务运算逻辑,以及向临床业务系统提供服务API,目前运行于Windows2008操作系统,部署有.NET Framework 4.0环境,运行AgileEAS.NET SOA 中间件的SOA服务,由AgileEAS.NET SOA 中间件SOA服务向外部系统提供标准的WebService以及WebAPI。

 

Web Server为系统提供基于标准的B/S浏览器用户接口,供业务人员通过B/S网页对系统进行管理,查询使用知识库之中的医学知识,目前运行于Windows2008操作系统,部署有.NET Framework 4.0环境,运行于IIS7.0之中。

 

临床工作站系统运行HIS、EMR系统,两系统均使用C#语言SOA架构思路进行开发,与本系统集成改造后,使用标准WebService接口本系统,使用本系统所提供的API为临床提供诊疗辅助。

 

4.结语

不论是NoSQL技术还是Spark技术,作为当前大数据新兴的技术架构,都将是大数据应用的核心基础。SequoiaDB的分布式架构支持了海量的数据的村存储,同时其JSON/LOB的架构又可以满足非结构化数据的存储。这两个特性可以说是医疗行业对于数据的核心需求。同时SequoiaDB作为数据源又能很好的对接Spark架构(SequoiaDB是Spark官方的全球10多家认证发行商之一),选择SequoiaDB可以说也是大大提升了整个数据系统的性能和稳定性。

 

 

SequoiaDB巨杉数据库2.6最新版下载

SequoiaDB巨杉数据库技术博客

SequoiaDB巨杉数据库社区

 

 

 

本文源自巨杉数据库社区用户实际应用案例

欢迎关注和加入巨杉数据库开源社区

 

%$(LAXO}X%1H2{JOLG640GP.jpg

© 著作权归作者所有

巨杉数据库
粉丝 54
博文 103
码字总数 210199
作品 1
朝阳
数据库管理员
私信 提问
医疗信息管理系统--MyPatients

随着经济和技术的发展,医疗市场的竞争日趋激烈。临床医生不仅要完成繁重的临床工作,还要进行科学研究和教学、学术交流等活动。同时,医疗市场的竞争,迫使医生必须改变观念,增加服务意识,...

匿名
2009/08/09
6.9K
0
“2017年度中国医院科技影响力排行榜”中的医院,是如何玩转人工智能的?

公众号“AI掘金志”出品 雷锋网旗下只报道“AI+传统”的内容频道 近日,“2017年度中国医院科技影响力排行榜”正式公布,四川大学华西医院、中国人民解放军总医院、中国医学科学院北京协和医...

亚峰
2017/12/22
0
0
医工结合之路:草木蔓发,春山可望 | 专访清华统计中心俞声

清华大学统计学研究中心助理教授俞声,主要的研究方向是基于电子病历的数据分析,他与数据科学研究院的合作始于数据院和清华大学临床医学院合作搭建清华临床医学科研数据平台(以下简称:医学...

技术小能手
2018/06/12
0
0
立足移动医疗影像平台,以单病种数据库为梁,锐达医疗如何搭建医疗影像 AI 的上层建筑?

“现在的医疗影像 AI 离临床应用还有非常非常漫长的路要走。” 作为局内人,锐达医疗创始人荣辉谈到当前的医疗影像 AI 时毫不客气,一连用了两个非常。 对于锐达医疗来说,AI 代表未来,移动...

刘伟
2017/12/01
0
0
医疗大数据解决方案

医疗大数据生命周期 在阿斯克医疗大数据方法论中,把医疗数据的生命周期分成下图的四个象限: 第一象限:数据采集 在数据采集阶段,医院通常会使用关系型数据库(例如Oracle,DB2,MySQL……...

勿忘初心321
2016/10/18
78
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部