一、etl数据抽取工具有哪些？

工具如下

1、DataPipeline

Data Pipeline是一家为企业用户提供数据基础架构服务的科技公司，DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多方面特性， 以保证数据质量的完整性、一致性、准确性及唯一性，彻底解决数据孤岛和数据定义进化的问题。

2、Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。

SPOON允许你通过图形界面来设计ETL转换过程（Transformation）。

PAN允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。

CHEF允许你创建任务（Job）。 任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。

KITCHEN允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。

3、Talend

Talend，是一家专业的开源集成软件公司，为企业提供开源的中间件解决方案，从而让企业能够在他们的应用，系统以及数据库中赢取更大的价值。 在传统软件公司提供封闭、私有的解决方案的领域Talend系列软件以开源的形式进行开发。Talend，可运行于Hadoop集群之间，直接生成 MapReduce 代码供 Hadoop 运行，从而可以降低部署难度和成本，加快分析速度。而且 Talend 还支持可进行并发事务处理的Hadoop2.0。

二、如何实现大数据真正价值

1. 数据融合

成功的大数据分析可以使用户应对工作中的困难，例如发现业务计划和工作中的缺陷和失误。它甚至可以将新的细分市场进行拆分，企业可以提供新的产品和服务。要想做到这些，就需要从各种资源得来的数据中抓住重点从而做出重要决策。

在数据分析中，时间至关重要。很多企业领导者和决策制定者需要实时的信息来快速做出决定。但是据估算，大约80%的时间都花在了准备和整理数据上。这样一来真正的分析工作只占20%。

因此高效的处理工作非常重要，例如数据分析的提取、转换和加载过程(ETL)。

一个好的ETL工具可以将从多个来源获取的数据融合在一起，也包括公共数据。它让用户的注意力集中到一个源头，获得相关性更高的信息，提高工作效率。同时可以确保用户的信息来源是唯一的，降低错误沟通的风险。

企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。目前，ETL工具的典型代表有：Informatica、Datastage、OWB、微软DTS、Beeload、Kettle……

2. 沟通无障碍

就像之前说过的，大数据分析工具可以帮助企业解决商业难题。从业人员也许能很好的理解这些问题，但IT人员却不能完全理解，这样就不能提供和专业需求相匹配的分析报告。再加上沟通不顺畅，领导层就无法及时得到有用信息，也就无法快速做出决策。

如果技术人员能够使用这种自助服务分析工具，就能够找到问题所在并做出可以弥补漏洞的决定。此外，他们还可以将数据同其他开放信息结合在一起，挖掘细分市场。企业还可以共享IT资源来发掘更多的数据信息。

三、如何利用EDI方式来进行国际贸易的单据传输和处理？

何为EDI，“电子数据交换”。它是一种在公司之间传输订单、发票等作业文件的电子化手段。

二.EDI系统的工作过程

一，发送方将要发送的数据从信息系统数据库提出，转换成平面文件(亦称中间文件)。

二，将平面文件翻译为标准EDI报文，并组成EDI信件。接收方从EDI信箱收取信件。

三，将EDI信件拆开并翻译成为平面文件。

四，将平面文件转换并送到接收方信息系统中进行处理。

EDI 操 作 流 程 1. 企业专用脱机板 →出口清单 →输入手册号和货物情况 →暂存 →清单查询 →点清单暂存号 →(无误后)保存 →联机申报 →输8位密码→公路口岸 →数据交换 →清单申报 →清单暂存号 →(无误)申报 →产生清单编号 →可先查询并记下清单编号 →货运委托 →选取要申报清单号→输承运企业组织机构代码 →申报 2. 回执查询→选取清单号→又击键打印 →传口岸运输（写司机资料与车牌） →捆绑→ 3. 返回查询→选订绑定→打单

四、从海量的各种数据中快速获取有价值信息的技术，叫做什么技术

1、数据ETL过程 2、数据整理，

生成与业务相关的新变量

3、应用统计分析或数据挖掘技术

4、展现统计结果或数据挖掘归纳的知识 5、结果应用，指导实践。

五、开源数据库迁移之前需要做哪些功课

单单是数据库可靠性远不足以满足你的业务需求，最好要能访问源代码而且产品是免费的。

现在你开始评估未来的增长和项目业务需求，犹豫是否需要将数据迁移到更可靠的商业软件系统上去，例如SQL Server或Oracle。

然而，商品软件产品不是免费的，除非你使用Express免费版本，现在许多软件厂商都能提供这种免费版本。例如，你可以下载SQL Server Express , Oracle Database XE 或 DB2 Express-C，这些软件可以免费使用。他们并不开源，但你不用付费。商业产品的免费版本不如付费版本那么健壮，也没有那么多的功能，但是他们却有开源软件所没有的功能。同时，免费的商业产品在某些方面不能与他们的开源软件的相应产品竞争。在考虑转换之前，这里有几个重要的问题要考虑 。

有许多这样的因素需要考虑。免费的商业软件产品在内存、数据库大小和能使用的CPU等方面有限制。例如，Oracle Database XE和SQL Server Express都有4G数据库大小的限制。也有其他因素的限制，如是否支持某种应用程序接口，可扩展性需求或可用性需求。

你的RDBMS应该具有什么功能?当决定是否放弃从开源RDBMS转向商业软件时，首先需要熟悉不同数据库系统的功能。大多数RDBMS的内核都很相似，无论是开源产品还是免费的商业软件版本。它们都遵循美国国家标准协会ANSI的SQL标准，支持ACID事务(原子性，一致性，独立性和持久性)，提供安全性，包括存储过程和触发器，支持复制和分区，提供索引以及许多其他功能。

其实并非所有的产品都是一样的。例如SQL Server Express有很多功能都是MySQL所不具备的，SQL Server有 Management Studio、配置管理器、报表服务器、在线备份和自动调优等功能。而MySQL支持不同的存储引擎，提供分区选项，更容易安装。选择MySQL，看重的是它能运行在任何操作系统上，是开源的，而且数据库的大小只受主机操作系统文件大小的限制。弄清楚哪种产品支持哪种功能，并决定这些功能中哪些是你必须要的，这才是关键。

实施需要做什么?这可能是在决定是否迁移到商业软件的决策中最重要的问题。免费的商业产品提供了开源软件所没有的功能，这是迁移到更健壮商业软件版本比较平滑的迁移路径。例如，你的组织可能想在明年开始实施扩展的商务智能分析。为此，你想要有一个系统，这个系统能处理必要的数据抽取、转换和加载(ETL)操作，支持日益增长的数据仓库，提供在线分析处理并提供扩展的报表分析功能。

无疑你能用不同的开源软件产品将许多这些功能集成起来。ETL产品如Pentaho Data Integration和Talend Open Studio都是强大的开源工具，可以用来迁移数据。然而，像SQL Server这样的产品，不仅包括数据库引擎，也有它自己的分析服务、报表服务和集成服务，提供可伸缩的解决方案，能做长期计划和后续实施无缝的过程。所以SQL Server Express可能是不错的选择。

从哪儿开始?开源RDBMS的迁移没有一个简单的答案。每个系统都有它自己的优缺点，免费的商业软件并不一定就便宜。你必须要考虑到计划和实施不同组件所需要的时间，了解并发现对这些组件的支持，集成不同的战略和系统。在某些情况下，解决方案可能是清晰的。如果你买了Microsoft的产品，正在使用Microsoft的工具，运行.net应用 ，SQL Server可能就是最好的解决方案。但是，如果你运行的是Linux服务器

，支持的是PHP应用，你可能发现开源软件如PostgreSQL更能满足你目前的需求。然而，即使是这种情况，也不那么容易。你必须要考虑产品的限制和功能，同时还要考虑未来的需求。只有这样你才能做出正确的决策。