系统简介

随着数据信息量的飞速增长、数据类型的多元化，从数据中提取更多的价值、使之发挥作用，更好的服务于业务的需求越来越紧迫，基于大数据的分析技术愈来愈受到关注。其中，基于Hadoop的大数据技术，由于其开源、支持厂家众多，已在业界具备了比较广泛的应用。

对于一些大型的数据中心已经有上百个应用上线运行，经过十多年的沉淀，积累了大量的数据，在之前由于技术条件的限制，这些数据都沉睡在存储设备上，没有得到充分的利用。随着大数据技术的兴起，对海量数据进行分析处理，从而从中提取到最大价值的条件已经具备。

系统功能

为了实现大数据平台智能部署及可视化监管，同时实现对应用系统日志数据的准实时采集、动态分析和展现, 系统功能主要包括: 采集配置, 计算配置, 日志搜索, 导入导出, 日志分析展示

采集配置

配置需要采集日志服务器的基本信息, 为采集器提供必要的采集信息元数据.

计算配置

配置必要的数据清洗, 计算规则等信息, 为日志分析展示提供必要的数据基础.

日志搜索

可以对应用项目分散在多个服务器上的日志进行实时查看，并可以自定义关键字进行搜索。

导入导出

对于清洗后的结构化数据信息, 支持数据导入到关系型数据库中. 同时也支持关系型数据库中的数据导入到非结构化的数据存储中, 参与非结构化的运算.

日志分析展示

对日志分析结果通过可视化方式进行展现，并可以导出报表。