如何选择正确的数据集成工具 - 中国数据分析行业网
  • 什么是亚博电竞客户端下载
  • 亚博电竞客户端下载师事务所简介
  • 亚博电竞客户端下载师简介
  • 大亚博电竞客户端下载平台(Datahoop)简介
  • 中国亚博电竞客户端下载行业自律公约
  • 2019年全球医药市场亚博电竞客户端下载
  • 通过这份亚博电竞客户端下载结果,教师资格证将越来越难考
  • 九大最适合实时亚博电竞客户端下载的应用领域
  • 亚博电竞客户端下载清明小长假出行特点
  • 技术热点

  • 亚博体育app彩票挖掘与机器学习:有什么区别?
  • Excel中的条件格式这么用,亚博电竞客户端下载更显专业化
  • Python在亚博电竞客户端下载中的重要性
  • 掌握这些核心,学习大亚博电竞客户端下载更加得心应手
  • Datahoop大亚博电竞客户端下载平台

    Datahoop,新一代企业亚博电竞客户端下载平台。是中国商业联合会亚博电竞客户端下载专业委员会主导下,集合了业内高级亚博电竞客户端下载专家,建立的多功能分析平台。目前正在进行小范围的公测...

    解决方案

  • “全方位育人”你不能缺席!百名亚博电竞客户端下载讲师公益培养计划正式启动
  • 关于给CPDA个人亚博yabo官方提供2019年8月免费微课学习的通知
  • 关于陕西诚合广信亚博电竞客户端下载师事务所有限公司备案及入会申请的批复
  • 关于组织参加“第十九届亚太零售商大会暨国际消费品博览会”的通知
  • 亚博yabo官方服务

    入会申请快速指南

  • 1.请您先阅读入会须知[入会须知]
  • 2.下载入会申请表 [团体申请] [个人申请]
  • 3.通过协会邮箱提交申请表
  • Email : xiehui@chinacpda.org
  • 4.如果您还有其它疑问,请联系
  • 协会亚博yabo官方处 010-59000056转652
  • 5.查看更多亚博yabo官方入会相关信息:
  • 了解入会详情
  • 李昆仑

  • 犀数科技,首席亚博体育app彩票官——孙雪

  • 沈志勇

  • 江青

  • 周庭锐

  • 地            址:北京市朝阳区朝外大街乙6号朝外SOHO,C座9层
  • 邮            编:100020
  • 总            机:(010)5900-0991/0339/0223/0056
  • 人事 行政处:010-59000991转606
  • 运  营 中  心:010-59000991
  • 商  务 合  作:010-59000339转630、13001995337
  • 会   员    处 :010-59000056转652
  •         Email :xiehui@chinacpda.org
  • 乘   地   铁:东大桥站
  • 乘   公   交:关东店站
  • 当前位置 > 首页 > 技术热点 > 如何选择正确的亚博体育app彩票集成工具

    如何选择正确的亚博体育app彩票集成工具

    来源:中国亚博电竞客户端下载行业网 | 时间:2018-04-25 | 作者:亚博体育app彩票委

    如今的亚博体育app彩票往往来自文件系统、亚博体育app彩票湖或存储库。为了满足各类业务需求,我们必须将亚博体育app彩票与其他亚博体育app彩票源的记录系统相集成,从而支持分析、面向客户的应用程序或者内部工作流。而这又带来了新的问题——我们该如何选择正确的亚博体育app彩票集成工具,从而对各类亚博体育app彩票加以归纳?今天的文章将就此展开探讨。

    683

    亚博体育app彩票不在一个亚博体育app彩票库,文件系统,亚博体育app彩票库或存储库中。为了满足许多业务需求,必须将亚博体育app彩票与其他亚博体育app彩票源的记录系统集成,然后用于分析,面向客户的应用程序或内部工作流程。例子包括:

  •  来自电子商务应用程序的亚博体育app彩票与用户分析,客户关系管理中的客户亚博体育app彩票以及其他主亚博体育app彩票源集成在一起,以建立客户群并定制营销信息。
  •  物联网传感器亚博体育app彩票与运营和财务亚博体育app彩票库中的亚博体育app彩票相关联,以控制吞吐量并报告制造过程的质量。
  •  员工工作流应用程序,可将跨多个SaaS平台和内部亚博体育app彩票源的亚博体育app彩票和工具连接到一个易于使用的移动界面。
  •  许多组织也对亚博体育app彩票科学家,亚博电竞客户端下载师和创新团队提出了亚博体育app彩票要求,他们在集成内部和外部亚博体育app彩票源方面的需求日益增长:
  •  开发预测模型的亚博体育app彩票科学家通常会加载多种外部亚博体育app彩票源,例如计量经济学,天气,人口普查和其他公共亚博体育app彩票,然后将其与内部资源融合。
  •  试验人工智能的创新团队需要汇总可用于训练和测试算法的大型复杂亚博体育app彩票源。
  •  业务和亚博电竞客户端下载师,特别是曾经在电子表格中执行分析的亚博体育app彩票驱动营销部门,现在可能需要更复杂的工具来加载,加入和处理多个亚博体育app彩票馈送。
  • 1、亚博体育app彩票技术与功能市场规模庞大

    问题是:用什么工具和做法来整合亚博体育app彩票源?什么平台被用来自动化操作亚博体育app彩票?正在委托哪些工具供亚博体育app彩票科学家和亚博电竞客户端下载师在使用新亚博体育app彩票源时更加努力?在开发跨多个亚博体育app彩票源和API进行交易的应用程序时,有效的开发和开发工具能够实现更快速的应用程序开发?

    由于许多组织具有不同类型,数量和速度的亚博体育app彩票,并随着时间的推移而产生不同的业务需求,因此可能已有不同的方法和工具用于集成亚博体育app彩票。很容易坚持这些,并将它们扩展到新的使用案例。虽然使用亚博体育app彩票工具的任何人可能比其他人更熟悉一种方法,但对于具有多种业务和用户需求的组织而言,应用一刀切的亚博体育app彩票集成方法可能并不是最佳选择。

    此外,随着越来越多的组织投资于亚博体育app彩票解决方案,大亚博体育app彩票解决方案有一个健康的市场。结果是现在有许多新的平台和工具来支持亚博体育app彩票集成和处理。

    有了这么多的工具,希望将亚博体育app彩票处理作为核心功能的组织应考虑各种工具类型,根据业务和技术需要应用这些工具类型。与亚博体育app彩票技术合作或负责亚博体育app彩票技术的技术人员应该熟悉可用工具的类型。在这里,我调查了七种主要类型的工具:

  •  编程和脚本亚博体育app彩票集成
  •  传统的提取,转换和加载(ETL)工具
  •  亚博体育app彩票高速公路SaaS平台
  •  面向用户和亚博体育app彩票科学家的亚博体育app彩票准备工具
  •  用于应用程序开发的API和亚博体育app彩票集成
  •  具有亚博体育app彩票集成功能的大亚博体育app彩票企业平台
  •  AI注入亚博体育app彩票集成平台
  • 2、亚博体育app彩票集成编程与脚本

    对于任何具有基本编程技能的人来说,将亚博体育app彩票从源文件移动到目标文件的最常见方式是开发一个简短的脚本。这可以在具有存储过程的亚博体育app彩票库内完成,作为按预定作业运行的脚本完成,也可以是部署到无服务器体系结构的小型亚博体育app彩票处理代码片段。

    这些脚本通常以几种模式之一运行。它们可以按照预定义的时间表运行,也可以作为由事件触发的服务运行,或者在满足定义的条件时作出响应。他们可以从多个来源获取亚博体育app彩票,在将亚博体育app彩票传送到目标亚博体育app彩票源之前加入,过滤,清理验证和转换亚博体育app彩票。

    脚本是移动亚博体育app彩票的快捷方式,但它不被认为是专业级的亚博体育app彩票处理方法。要成为生产级的亚博体育app彩票处理脚本,它需要自动执行处理和传输亚博体育app彩票所需的步骤,并处理多种操作需求。例如,如果脚本正在处理大量亚博体育app彩票或快速移动的亚博体育app彩票,则可能需要使用Apache Spark或其他并行处理引擎来运行多线程作业。如果输入亚博体育app彩票不干净,程序员应该启用异常处理并在不影响亚博体育app彩票流的情况下踢出记录。程序员还应该执行重要的计算步骤记录以便于调试。

    编写脚本来支持这些操作需求并不是微不足道的。它要求开发人员预测亚博体育app彩票集成和相应程序可能出现的问题。另外,开发自定义脚本在使用许多实验亚博体育app彩票源时可能不具有成本效益。最后,亚博体育app彩票集成脚本通常难以完成知识转移知识,并且难以跨多个开发人员进行维护。

    出于这些原因,具有较大亚博体育app彩票集成需求的组织通常会超越编程和脚本亚博体育app彩票集成。

    3、传统提取、转换与加载(简称ETL)工具

    自20世纪70年代以来,抽取,转换和加载(ETL)技术已经出现,IBM,Informatica,Microsoft,Oracle,Talend等平台在功能,性能和稳定性方面已经成熟。这些平台提供可视化编程工具,让开发人员能够分解并自动执行从源中提取亚博体育app彩票,执行转换并将亚博体育app彩票推送到目标存储库的步骤。由于它们是可视化的,并将亚博体育app彩票流分解为原子步骤,与难以解码的脚本相比,管道更易于管理和增强。另外,ETL平台通常提供操作界面来显示亚博体育app彩票管道崩溃的位置并提供重启它们的步骤。

    多年来,ETL平台增加了许多功能。大多数人可以处理来自亚博体育app彩票库,平面文件和Web服务的亚博体育app彩票,无论他们是在本地,在云中还是在SaaS亚博体育app彩票存储中。它们支持各种亚博体育app彩票格式,包括关系亚博体育app彩票,XML和JSON等半结构化格式,以及非结构化亚博体育app彩票和文档。许多工具都使用Spark或其他并行处理引擎来并行化作业。企业级ETL平台通常包括亚博体育app彩票质量功能,因此亚博体育app彩票可以通过规则或模式进行验证,并将异常发送给亚博体育app彩票管理员进行解决。

    一个常见的ETL示例是组织何时将销售前景的新文件加载到CRM中。在加载之前,这些亚博体育app彩票源通常需要清理物理和电子邮件地址,这可以通过使用规则和标准亚博体育app彩票源进行转换来完成。然后将清理后的记录与CRM中已经存在的记录进行匹配,以便现有记录得到增强,同时添加之前没有的亚博体育app彩票并添加新记录。如果ETL很难确定某行是匹配还是新记录,则可以将其标记为要审查的异常。

    当亚博体育app彩票源持续提供新亚博体育app彩票并且目标亚博体育app彩票存储的亚博体育app彩票结构不会频繁更改时,通常会使用ETL平台。这些平台专为开发人员编写ETL而设计,因此对于混合专有,商业和开放亚博体育app彩票存储的亚博体育app彩票流操作最为有效。

    4、面向SaaS平台的亚博体育app彩票高速公路

    但是,是否有更有效的方法从常见亚博体育app彩票源中提取亚博体育app彩票?也许主要亚博体育app彩票目标是从Salesforce,Microsoft Dynamics或其他常见CRM程序中提取帐户或客户联系人。或者,营销人员希望从Google Analytics等工具中提取网络分析亚博体育app彩票,或试图将客户亚博体育app彩票推送到营销工具(如Mailchimp)中。您应该如何防止SaaS平台成为云中的亚博体育app彩票孤岛,并轻松实现双向亚博体育app彩票流?

    如果您已经拥有ETL平台,请查看供应商是否提供通用SaaS平台的标准连接器,或者有可以从开发合作伙伴处购买的市场。

    如果您没有在ETL平台上进行投资,并且您的亚博体育app彩票集成需求主要是连接通用平台,那么您可能需要一个易于使用的工具来构建简单的亚博体育app彩票高速公路。

    Scribe,Snaplogic和Stitch等亚博体育app彩票高速公路工具提供了简单的网络界面,可以连接到常见的亚博体育app彩票源,选择感兴趣的领域,执行基本转换,并将亚博体育app彩票推送到常用目的地。

    亚博体育app彩票高速公路的另一种形式有助于更接近实时地整合亚博体育app彩票。它通过触发器进行操作,因此当源系统中的亚博体育app彩票发生更改时,可以将其操作并推送到辅助系统。 IFTTT,Workato和Zapier就是这类工具的例子。这些工具对于将单个记录从一个SaaS平台转移到另一个SaaS平台时使用“如果是这样的”逻辑特别有用。在评估它们时,请考虑它们集成的平台数量,处理逻辑的功能和简单性以及价格,以及特定于您的需求的任何因素。

    5、面向用户与亚博体育app彩票科学家的亚博体育app彩票准备工具

    当非技术和技术含量较低的用户想要加载和清理新的亚博体育app彩票源时,有一种新的亚博体育app彩票准备工具针对这些用户,以帮助他们执行亚博体育app彩票集成。

    要实施基本的亚博体育app彩票集成和混合,请考虑贵组织中任何商业智能系统已提供的亚博体育app彩票集成功能。 Looker,QlikView和Tableau等工具提供基本的亚博体育app彩票集成,建模和转换。您还可以使用它们发布和共享虚拟亚博体育app彩票源。

    如果亚博体育app彩票科学家和亚博电竞客户端下载师正在处理大量亚博体育app彩票源或花费大量时间来处理亚博体育app彩票,则与BI工具集成的亚博体育app彩票准备工具可能是明智的投资。

    什么是亚博体育app彩票争夺?这是业务用户和亚博体育app彩票科学家需要在亚博体育app彩票源上进行的所有工作,以使其可用于分析。它通常从分析亚博体育app彩票开始,逐场分析显示有多少百分比有数值与亚博体育app彩票集有什么不同值。使用配置文件亚博体育app彩票,分析师会清理具有不同值的字段(例如“纽约”和“纽约”),合并和删除字段,或使用公式创建计算字段。他们还可以执行行级操作,如删除重复项和合并记录。

    亚博体育app彩票准备工具通常围绕类似电子表格的用户界面进行设计,以便让用户可视化亚博体育app彩票配置文件并混合亚博体育app彩票源。但与传统电子表格不同,这些工具捕获用户执行的亚博体育app彩票处理步骤并启用可视化和编辑操作。这些工具中的大多数可以使用它们捕获的这些脚本来自动化具有持续运营需求的亚博体育app彩票馈送的亚博体育app彩票流。

    有独立的亚博体育app彩票准备工具,如Alteryx,Paxata和Trifacta。另外,传统的ETL厂商如IBM和Talend已经开发了面向商业用户和亚博体育app彩票科学家的亚博体育app彩票准备工具。

    6、用于应用程序开发的API与亚博体育app彩票集成方案

    如果您的目标是开发需要连接到多个亚博体育app彩票源和API的Web或移动应用程序,则有API和应用程序开发工具可以简化这些集成。这些工具不是将亚博体育app彩票集成到中央存储库中,而是提供各种选项,以便在使用多个API和亚博体育app彩票源时支持更快的应用程序开发。

    应用程序集成有几种不同的平台类型和工具提供者Dell Boomi,Jitterbit和Mulesoft等平台旨在简化API和亚博体育app彩票访问,并充当亚博体育app彩票总线以集中交互。像Built.io,OutSystems和Pow Wow Mobile这样的低代码和移动开发平台可以实现集成,并提供开发和开发环境,以快速构建和运行应用程序。

    7、大亚博体育app彩票企业平台与亚博体育app彩票集成功能

    如果您正在hadoop或其他大亚博体育app彩票平台之上开发功能,您可以选择将亚博体育app彩票集成到这些亚博体育app彩票存储:

  •  您可以开发脚本或使用支持大亚博体育app彩票平台的ETL工具作为端点。
  •  您可以选择具有ETL,亚博体育app彩票治理,亚博体育app彩票质量,亚博体育app彩票准备和主亚博体育app彩票功能的端到端亚博体育app彩票管理平台。
  • 你可以做到这一点。

    许多提供ETL工具的供应商也出售具有这些增加的大亚博体育app彩票功能的企业平台。还有像Datameer和Unifi这样的新兴平台可以实现自助服务(如亚博体育app彩票准备工具),但是可以在支持供应商的Hadoop发行版之上运行。

    8、AI驱动型亚博体育app彩票集成平台

    在跨脚本,ETL,亚博体育app彩票准备,应用程序集成服务和大亚博体育app彩票平台的过程中,为开发人员,亚博体育app彩票科学家,亚博体育app彩票管理员和分析人员提供了大量实际的手动亚博体育app彩票集成工作。供应商知道这一点,而一些下一代亚博体育app彩票集成工具和功能将包括人工智能(AI)功能,以帮助自动化重复性任务或识别难以找到的亚博体育app彩票模式。例如,Informatica正在营销Claire,“智能亚博体育app彩票平台”,而Snaplogic正在营销Iris,它“推动自我驱动整合”。

    9、找到正确的亚博体育app彩票集成工具组合

    考虑到平台类型,每个空间竞争的供应商数量以及用于分类选项的分析师术语,亚博体育app彩票集成选项列表可能令人望而生畏。那么,您如何才能为现在和未来的亚博体育app彩票集成需求决定正确的工具组合?

    简单的答案是它需要一些纪律。首先清点已经使用的工具,编制成功应用的使用案例的编目,并成功地使用这些工具捕获人员。向他们提供其他难以实施解决方案的示例用例,因此在寻找其他工具时可能会有所帮助。

    了解亚博体育app彩票集成主题专家的感受。也许有亚博体育app彩票集成脚本需要持续维护,财务团队对重复性工作感到沮丧,或者使用ETL解决方案进行开发对于营销团队的需求来说太慢了。也许亚博体育app彩票科学家花费大量的时间用一种编程语言来纠缠亚博体育app彩票并创建一个庞大的代码库。也许很多亚博体育app彩票集成需求都与少数标准平台相关,并且标准化集成方法将带来运营收益。

    通过一个清单,亚博体育app彩票集成专家团队可以在请求新的或增强的亚博体育app彩票集成时审查实施选项。 如果新的请求像已经实施并且正在工作的请求,则团队应该有信心再次应用它。 如果不是,它可以选择尝试使用现有工具进行实施,或者考虑使用新工具进行概念验证,如果这是一个高度不同的亚博体育app彩票集成工作。

    当有新的业务需求和不断变化的技术环境时,这种整合用例和审查新用例的规范是最佳实践。

    来源:中国大亚博体育app彩票

  • 资质查询快速通道