大规模多源数据智能整合系统（简称DIS）是一款数据处理基础软件，该系统主要针对大数据环境下异构数据整合需求，为客户提供有效数据管理应用解决方案，主要功能包括：

• 1、适合于大数据处理的数据整合平台框架
• 2、结构化、半结构化和非结构化数据模型、查询语言等的一体化管理
• 3、多源数据的识别、抽取、发现、关联、集成、融合
• 4、大规模数据的分布式存储和处理
• 5、高效的异步复制技术实现故障转移和负载均衡

该系统突破了传统软件系统架构、数据抽取、数据集群、数据分片等关键技术，能够为异构海量数据提供全面的智能整合支持，为多源数据的分析应用提供坚实的数据基础。

关键技术

• 大数据融合支持技术（异构存储、标准访问接口、虚拟化数据管理）

• 异构大数据整合技术（数据交换、数据共享、智能服务）

• 大数据高效压缩技术

• Replica Sets 复制集技术

• MapReduce+NoSQL并行分析挖掘技术（机器学习、人工干预）

性能指标

• 通用性：windows、Linux跨平台使用

• 稳定性：系统可全天常态运行，崩溃率0.1%

• 高扩展性:自带分布式文件系统最大支持PB级数据处理

• 高并发：支持终端用户同时提交1千万行处理数据系统

• 故障切换时间：故障时系统切换时间不高于5秒