EN
/EN
员工邮箱 注册

新晨训管大数据平台

| 项目概述

基于大数据基础平台,在信息服务基础平台系统数据支撑服务和共享交换服务的基础上,结合信息化建设基础能力,发展“训、教、管” 专业化能力,构建相关领域大数据工程。

新晨训管大数据平台(图1)

大数据支撑平台软件包括多源异构海量数据的数据集成开发、存储、处理、访问、安全及多租户和运维管理等六大模块 :

1. 数据集成开发:提供对传统关系数据库、互联网网页等多数据源多数据格式的数据采集功能,主要提供ETL、程序管理、SQL开发、任务调度、流程编排等功能。

2. 数据存储:提供分布式文件系统(HDFS)、NoSQL数据库(HBase)、大数据仓库(Hive),实现对非结构化 数据、半结构化数据、结构化数据的海量存储。

3. 数据处理:提供对海量数据的计算功能,主要提供Hadoop MapReduce和Spark两种大数据计算引擎和Spark Streaming流式数据计算框架以及计算任务的定义和调度功能。

4. 数据访问:提供BigSQL访问引擎,支持标准SQL的数据访问、支持TPC-DS 99种查询语句和多数据源统一访问。

5. 安全及多租户管理:提供资源配额管理、资源授权管理、用户、认证、授权、审计及加密等功能。实现数据和资 源的访问控制等功能特性。

6. 运维管理:主要包括自动化部署、服务管理、健康、告警、日志;管理及IAAS视频等功能模块。实现集群和服务 的自动化安装部署等功能特性。

新晨训管大数据平台(图2)