在大数据处理分析过程中常用的六大工具：

1、Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

3、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。

4、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

5、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

6、Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

1、大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。

2、这些数据集收集自各种各样的来源：

a、传感器、气候信息、公开的信息、如杂志、报纸、文章。

b、大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。

c、大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

DataViz 自助式可视化数据分析软件

企业级业务数据分析软件，更快更准确地自助完成数据洞察，有效盘活数据资产，促进决策效率。专注于企业业务数据分析，提供企业级自助式、探索式、可视化数据分析软件服务，3000多家各行业客户的共同选择

自助式探索式数据分析

从数据源接入、数据建模、数据分析到最后的数据可视化展现，全程都可自助完成，无需任何编码，轻松完成数据探索分析

TB级数据秒级响应

内置基于Kylin、Impala、Hive的大数据分析引擎，可以有效支撑企业进行TB级巨量数据实现秒级响应的分析

多类型数据集成分析

支持MySQL、Oracle、SQL Seaver、Excel、CSV、HBase等多类型数据接入，支持多类型数据进行集成分析

多终端自适应展现

通过DataViz制作的分析报告，只需制作一次就可以在桌面、手机、大屏等多终端上自适应展现，而不需针对多个终端进行单独设置

高级数据可视化

提供60多种数据可视化效果，支持弦图、热力图、南丁格尔图等高级数据可视化，更支持基于地图的轨迹、热力等可视化效果

灵活扩展与集成

提供灵活的可扩展及二次开发能力，具备灵活的集成部署方式，易于实现与企业已有业务系统的融合与集成，实现业务数据实时分析