产品简介

1  产品描述

飞象大数据分析可视化平台(简称OpenFEA),致力于构建从数据收集到模型发布,再到可视化展示全方位一体化的一站式大数据敏捷分析系统,产品宗旨是利用OpenFEA平台让大数据分析变得更加简单。在实际项目中结合用户行业需求将搜集到的各类数据进行统计关联、模型预测等可视化形式展示内部数据关联关系,一方面帮助企业及时了解运营状态发现问题并调整策略另一方面改进产品推动业务增长提高企业竞争力。特别是在公安、运营商、金融、电力等行业可以快速建立态势感知,进行用户异常行为分析、构建全方位实时监测预警体系,维护网络空间安全以及网络数据的完整性、安全性、可靠性,强化网络数据和用户个人信息保护,增强网络信息安全保障能力。

2  产品定位

现阶段大数据分析系统已然扎根于各行各业,对国家信息安全、社会经济生活、民生等起着十分重要的作用。但是仔细分析现状,就会发现大数据分析系统普遍存在如下问题:

一、  系统组件太多,孤岛情况突出,运维和安全成本太高。这种系统架构就像一个拼接的魔方,它既庞大又复杂。一方面给运维工作带来巨大的压力和挑战,另一方面在实现数据资源共享和挖掘潜在价值方面,也暴露出大量敏感和重要信息的数据资源被泄露和非法利用的风险。

二、  无法深度融合人工智能AI与商业智能BI的优势。虽然目前一些商业智能系统已开始整合AI功能,但并未深入融合AI技术,因此难以全面地支持人工智能。同时,大数据本身的新特点和多元化的用户分析需求,也对AI与BI提出了更为迫切的需求与更加严峻的挑战。

三、  非轻量级交互式编程语言,学习成本高且不利于交互分析。常用的可编程分析语言有R语言、MATLAB等。这类语言由变量、赋值语句、表达式、控制语句等构成指令序列,有比较复杂的保存和调试过程,不仅学习和入门门槛高而且不能很好的将复杂的数据分析场景简单化。

四、  可视化大屏看的部分居多,交互的部分太少。当数据驱动决策的大潮来袭对海量数据进行高效分析后,能够进行多维度的高清展示就成为每一个决策者心中的期待。

 

OpenFEA是一款用于实时数据和流数据处理融合大数据分析与数据可视化展示的软件。可以无缝对接各种数据源,超融合的汇总海量数据并加以关联分析和可视化展示,能够快速开发、部署和培训上手,适合党政机关、企业事业单位和其他组织的管理者、决策者、分析师监控、分析、展示数据。

1OpenFEA解决了多元化团队作战造成实施成本高、需求变化快按时交付难、开放性差难以扩展等问题。

2OpenFEA综合人工智能AI与商业智能BI功能,打造了分析与应用的中件间,深入地融合AI技术,全面地支持人工智能。用户不用再搭建庞大的系统组件,只需要部署OpenFEA环境,就可以享受从数据采集到分析挖掘再到可视化的一条龙服务。

3OpenFEA降低了大数据分析系统的使用难度,无需复杂编程即可快速实现大数据分析,即使缺乏相关行业背景和知识的技术人才,也能进行大数据分析。

4)OpenFEA完美兼容各类大数据平台。系统向下可采集文本文件、数据库、ES、HADOOP、华为、GP、阿里ODPS/OSS/ADB、Amazon等数据,向上可嵌入各类图表、面板、GIS等交互应用,与Hadoop、Spark、华为、浪潮、ODPS等大数据平台完美融合的开放式生态圈,具备分布式处理的优势,可提供完善的各种分析功能,确保分析与应用的完美衔接。

因此,OpenFEA不止是一个大数据分析平台,它还是一个开放式的大数据分析生态圈。

3  产品架构

3.1  系统架构

从结构方面来看,OpenFEA系统框架主要由数据采集,分析内核,可视化三部分组成。

 

数据采集:OpenFEA一直专注于大数据领域,能够采集多种数据源。不管是结构化数据源(关系型数据库),还是传统的非结构化或半结构化的Hadoop数据源、流数据、数据文件,在OpenFEA中这些数据都可以变成标准化和结构化的易于分析的数据。

分析内核:数据探索部分由交互式分析语言及各类数理统计功能组成,可以对任何类型,大小或交互速度的数据都进行交互式的探索,对样本数据的结构和规律进行分析,了解样本数据集的数量和质量是否满足模型构建的要求等。分析与挖掘部分由机器学习算法、双引擎(Python引擎和Spark引擎)、分析场景定制等功能组成,可以对数据进行深入的、大规模的分析与挖掘,可以将静态和动态数据,流数据和历史数据可视化,清楚地了解正在发生的事情。模型发布部分由分析模型、监测预警、查询/搜索组成,可将已构建的数据分析模型固化,封装数据与算法,不断的变更、迭代,直至完善后,打造出含监测预警、查询、搜索等功能的各类模型。

可视化:OpenFEA集成了几百种专为用户快速理解和解释信息的可视化图表,通过可视化设计器进行展示设计,将DASHBOARD、导航、 应用门户等集成,并实现深度交互与多屏互动。在短短几个小时内就能集合复杂数据源、分析模型、可视化,构建出各类态势感知系统,各类监测预警系统,各类数据大屏,甚至是应用、产品。

3.2  DataFrame结构

OpenFEA采用DataFrame结构进行内部计算,DataFrame结构就是我们常用的二维表格结构,每个表格由一个索引列(可以用来竖向取值)和多个数据列组成,这个结构和关系型数据库中的表结构是一致的。所以,我们也将DataFrame简称为“DF表”,这个结构是线性代数中矩阵的结构,便于进行各种矩阵运算。

DF表的结构示例

 

OpenFEA所有的计算分析都是针对DF表进行的,所以这个结构很重要。OpenFEA装载数据后会自动建立索引,通过索引就可以竖向检索数据,索引的值是不能更改的,但可以指定其它的列来替代索引。OpenFEA会根据列中的数据来匹配最佳的数据类型,常见的类型有int64、float64、stringObject复杂对象

4  产品优势

1、  快速实时分析:由于采用多引擎内存计算架构对于海量级的数据计算仍然实现的是秒级响应。

2、  双向全流程大数据分析系统囊括大数据分析的全部流程,不仅可以通过数据挖掘潜在价值还可以进行可视化展示,通过即定的可视化结果可以进行推导。

3、  敏捷分析:对于数据处理是秒级响应、对于可视化分析所见即所得、对于模型构建只需一行即可搞定、对于机器学习开箱即用。

4、  高开放性:在不满足用户需求的情况下支持用户自定义函数、自定义数据源以及自定义第三方插件等,无限扩大OpenFEA的功能!

5、  弹性部署在部署方式上灵活而且容易扩展不仅支持双节点部署、集群部署以及云上部署,而且大中小数据全覆盖,融合多种数据源。