完整的行业解决方案

Internet of things solutions

帮助企业量身定制开发,实现移动管理,实时监控,远程数据采集和控制,移动支付

当前位置: 首页 > 新闻动态 > 行业新闻 > 工业互联网:为什么自动化ETL根本不是ETL

工业互联网:为什么自动化ETL根本不是ETL

来源:http://www.flsiot.cn/ 行业新闻 2020-07-11 17:43:15

  随着SaaS应用程序数量的不断增加,集成嵌套在其中的云数据的需求也越来越高。SaaS数据包含有关客户的洞察力。诀窍是如何统一数据,以便可以将其输入报表,分析和商业智能(BI)工具中,在其中您可以使用它来获取有价值的见解。

工业互联网
工业互联网

  自1970年代以来,企业一直在使用ETL(提取,转换和加载)技术作为在系统之间移动数据的第一步。大多数IT专业人员认为ETL既复杂又耗时-比乌龟更难。半个世纪后,ETL演变到最终直立的程度,演变为更高级的物种。

  这种“新ETL”可自动执行数据提取,准备和存储的过程。只需单击一个按钮,任何人都可以统一所有其SaaS应用程序数据,并可以构建云数据仓库来提供其分析,报告和仪表板。

  支持这种发展的是实时分析的真正革命-历史上很难实现。借助自动ETL,企业最终可以合并数据源并信任其准确性。开发人员无需编写通过API从应用程序中提取数据的代码。而且,必须手动标准化数据格式并了解多个数据模型如何相互关联的IT团队不再需要这样做。

  几十年来,这些障碍阻碍了分析项目的发展或无限期地推迟了它们。现在,企业可以立即分析客户记录,因为系统关系现在可以自动映射,匹配,建模并合并到单个数据库中。80%的分析项目都花在数据提取上,准备工作很快就会成为过去的数据。

  这对SaaS软件和IoT空间意味着什么?

  设备的增加也产生了更多的数据源。客户通常通过多种渠道与企业互动。客户有一天可能会在台式机上访问您的网站,第二天会在其iPad上。提交支持软件后,他们可能会在Twitter上谈论他们在客户服务方面的经验。

  使用自动ETL方法,利用所有这些数据(无论来源如何)都不再是一个为期数天,数周或数月的项目。每个活动,事件,交易和机会(也称为“对象”)都可以在一个简单的UI中自动组合。还可以自定义上述对象之间的关系或映射。客户数据曾经被视为一种分析性的非必不可少的东西,如今却变得更加紧密,使企业对用户的行为和偏好有了更全面的了解。

  现代ETL还建立了一个数据仓库,可以轻松地连接到报表,分析和BI工具。对于开发人员来说,仅拥有一个统一的SaaS数据架构就可以了。对于分析人员而言,将许多数据集转换为一个集简直是个奇迹,因为数据几乎是实时的。准备召开董事会会议的高管可以报告其最重要的KPI并刷新仪表板,并确保数据是最新的,而不是数周之久。

  根据对502位IT专业人员的调查,传统的ETL长期以来破坏了组织实现实时分析的能力。通过ETL移动后,数据在到达分析数据库时至少已存在五天。这些延迟也会随着数据集的增加而增加。处理的数据越多,IT在每个步骤(尤其是转换)上必须花费的时间就越多。这些只是众多IT专业人员都在寻找更好的替代方案的一些显而易见的原因。

  自动化ETL的主要优势之一是速度。随着添加的数据源数量的增加,与非自动化先例相比,统一和存储仓库所需的时间相对不受影响。

  尽管对新技术的预测往往会很快出错,但实际上有两个平行的趋势在反映着相同的内在需求,即需要更快地做事和更少的资源。在办公室,SaaS消除了我们对更高生产率的渴望。在家里,物联网时代设计了一系列小工具,使家庭和日常生活更加便捷。

  鉴于这些事实,我们应该期望传统的ETL消失,从而为高级解决方案留出空间,该解决方案的自动化程度大大超过了当前的解决方案,因此根本不是ETL。