通过Informatica释放Hadoop强大潜能

2018-06-11    来源:

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

 

自从Hadoop在2008年作为Apache开源项目发布以来,它就一直让人备感兴奋,原因在于它结合了成本低、可扩展性佳以及无需构建预定义模式(predefined schema)就能灵活地处理任何数据等优点。在大数据时代,许多人寄希望于Hadoop厂商们能够开发出成熟可靠的工具、功能和技术创新,以更经济的方式、更好的性能实现数据处理和分析。拥有近20年数据集成创新经验和领导才能的Informatica,扩展了其数据集成平台以支持Hadoop,最新发布的Informatica 9.5提供了全新及扩展功能,极好的释放了Hadoop潜能,帮助客户实现大数据最大投资回报。

Hadoop 可帮助您实现什么? 

Hadoop的最大价值是什么?主要包括两方面:一是Hadoop可以帮助降低大数据的成本;二是Hadoop能够真正提高大数据的价值。精益原则在大数据时代比以往任何时候都有效,并且是使大数据不成为大债务的关键。Hadoop使企业能够使用精益数据管理,以降低数据成本,这包括:业务成本、硬件成本、人工成本、软件成本、存储成本。此外,通过易访问性、可操作性、权威性、整体性、相关性、安全性、及时性、可信性等特性,Hadoop还能帮助客户增加数据的价值。

一些开路先锋已经投入很大精力来开发Hadoop,Hadoop取得的成功同时也促使主流市场对其稳定性、成熟的管理等更高的需求。这个群体中有影响力的主要厂商包括Cloudera、亚马逊、MapR、Hortonworks、DataStax、EMC、IBM、Informatica、微软和甲骨文等。

采用成熟、先进的数据集成平台释放Hadoop的潜能

在IT环境中,Hadoop不可能作为一个孤岛存在。为了让Hadoop可以跨越不同平台并成为一种主流技术,用户需要将Hadoop作为他们IT大环境中的一部分来管理,通过Hadoop重复使用他们的开发技巧、资产及数据,并统筹管理全部数据。Informatica 9.5 为企业带来了他们所需的交互性、生产力以及可管理性,以便快速采用Hadoop并最大化他们的大数据投资回报。

我们从数据处理的六大步骤说明Informatica怎样来释放Hadoop的能力。第一步,是将数据摄入到Hadoop;第二步,发现Hadoop数据的异常、关系和域类型;第三步,在 Hadoop中解析和准备数据,这对于Informatica来讲是非常独特和重要的,现在数据类型非常多,要对其进行分析,首先要解析,将其变成可以工作的结构型数据;第四步,在Hadoop中转换和清洗/标准化数据,数据一旦格式化后就可以进行转换、过滤、集成、分类等等;第五步,在Hadoop上调用自定义业务分析;第六步,从Hadoop上读取数据,目前一些大的报告工具,还不能够直接在很多平台上运行,因此需要把计算结果提取出来放到传统数据库中。当然,在一到六步的实现过程中,企业还需要管理整个过程,需要监督、监视系统发生情况。

Informatica 9.5已经实现了上述提到的一、三、六步的功能,而二、四、五步功能则将在年底推出的Informatica 9.5.1中实现。下面主要介绍Informatica 9.5中已实现的功能。

Hadoop 的数据输入和输出

在大数据时代,每小时要移动数十TB的交易数据、交互数据和流数据,我们希望能够提供不同的方法来提取和装载数据。Informatica PowerExchange for Hadoop可提供与HDFS和Hive适配器高性能连接,企业能够向Hadoop输送所有数据以便集成和处理大数据,通过与包括大型机、数据库及应用程序在内的所有数据(无论企业内部还是云中)的统一连接,可以轻松地以批量或实时方式在Hadoop系统中取送数据。

PowerExchange for Hadoop具备了易于使用和管理的开发环境,其元数据驱动方法为快速设计和开发提供了便利。该软件与Informatica PowerCenter全面集成,能够轻松地部署、排除故障和升级,图形化设计环境则使之易于在预加载和后处理阶段解析、转换及清洗数据。此外,它还能对HDFS连接以及加载时间等操作统计数据进行管理和监控。

在 Hadoop 上解析和准备数据

Informatica HParser是第一款Hadoop环境下的数据编译转换解决方案,能把任何非结构和半结构数据--诸如网络记录、社交媒体数据、通话详细记录以及其他数据格式--转换为更具结构性的格式,可以得到更快速的使用和生效,从而驱动业务发展、提高运营效率。利用Informatica HParser这一覆盖了大范围数据格式、基于引擎的解决方案,用户能大大简化并加快数据分析过程,有效避免处理过程中的风险并削减定制编译脚本的成本。

用于创建和维护转换的HParser可视化集成开发环境(IDE)可以加速开发过程,并提高开发者生产力。HParser还将开发中的多层次及关系转化为更为扁平、易于使用的格式,并允许业务规则进行确认。HParser支持灵活高效地处理Hadoop里面的任何文件格式,为Hadoop开发人员提供了即开即用的解析功能,以便处理复杂而多样的数据源,包括日志、文档、二进制数据或层次式数据,以及众多行业标准格式(如银行业的NACHA、支付业的SWIFT、金融数据业的FIX和保险业的ACORD)。利用HParser,开发者可以创建MapReduce中的应用逻辑及数据源之间的抽象层,该特性允许应用逻辑一经创建便可实施在多种不同数据源中,这样可以允许项目便捷地延展。利用相同的集成开发环境,设计组件可以拓展到企业的其他部分,而不仅仅限于Hadoop项目。

作为全球领先的企业数据集成软件提供商,Informatica一直以来都是各大厂商进军大数据领域争抢的对象,不只是因为全球近5000家企业依赖Informatica方案管理其在本地的、云中和社交网络上的信息资产,还因为它在数据方面强大的技术能力。Informatica旨在提供一款单一平台,借助统一的环境和方法,全面满足数据管理和数据集成方面的要求。

标签: 安全 标准 处理大数据 大数据 大数据时代 脚本 金融 开发者 媒体 企业 数据分析 数据库 网络 行业 用户

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:第二届中国项目管理培训大会(CCPMT)即将在京召开

下一篇:CA Technologies 收购 Paragon Global Technology