数据虚拟化和信息统一的路径

虚拟化使组织能够克服不同数据源的挑战,并为最终用户提供统一的,可操作的数据视图。

Dipti Parmar

Dipti Parmar2021年6月3日

在信息时代,每个想要的人都可以使用数据。企业生存,蓬勃发展,赢得并失去理解这些数据的能力。如今,不断发展和新兴技术(例如AI,区块链和IoT)是公司董事会讨论的主题,仅仅是因为它们能够生成数据和见解,这些数据和见解可以改变业务的方式。该竞赛正在创建敏捷和以客户为中心的组织,在这些组织中,创新和销售是由实时数据驱动的。

最终将赢得这场比赛的企业是那些可以突破组织孤岛的企业,升级遗产IT基础架构,并通过使所有人员均可访问其数据和分析资产来创建有效的运营流程。不用说,那些不会被抛在后面的人。

“许多公司现在都在接受数据和分析,因为它们害怕被使用数据和数字技术重塑整个行业的数字公司破坏。”韦恩·埃克森BI咨询公司Eckerson集团的创始人。

哈佛商业评论的调查发现领导人之间在构成数据驱动企业的能力上已经明确共识。除了安全地访问数据,部署和扩展分析以及从现有数据和应用程序中提取有价值的见解外,三个相互关联的优先级也很突出:

  • 从各种外部来源收集并组合数据
  • 通过此数据创建真相的单个版本
  • 向所有员工提供定制的可行情报

实现这些目标的核心是将来自不同来源的结构化和非结构化数据集成,并促进对该数据的透明存储,检索和操纵。

数据虚拟化是实现这一目标的手段。

什么是数据虚拟化,如何工作?

现在,大多数大型公司都以多种格式访问,收集和存储数据,例如电子邮件,社交媒体帖子,电子表格,日志等。再加上其应用程序以不同格式生成的数据库。很难管理此数据并促进多个应用程序之间的共享和访问。对于企业而言,此问题是复杂的,企业需要兼顾涉及异构数据的多个系统,模型和环境。

有关的

数据虚拟化有望无疑的信息统一途径

数据虚拟化通过允许用户检索和操纵数据而不知道其存储何处或如何格式来克服这些限制。

数据虚拟化是创建一个单个虚拟的,抽象的层,该层是从多个应用程序,格式和物理位置集成了来自多个源的数据,并将其呈现给用户,而无需数据复制或移动。它连接到不同的数据库,创建不同数据的虚拟视图,并将其作为REST等服务发布。

这使得可以更快,更轻松的数据访问而无需执行提取,转换,负载(ETL)处理或使用单独的平台或接口。此外,根据组织政策,可以将用户,设备和应用程序限制访问特定的数据以进行分析和报告。

当今市场领先的数据虚拟化解决方案是Denodo,,,,SAS联合服务器,,,,红帽JBOSS, 和TIBCO数据虚拟化

统一的数据逻辑视图

多年来,大多数企业已经建立,获取或以其他方式拥有数十个甚至数百个信息筒仓,从电子表格到操作数据库不等。每个都有自己的结构框架或模式,尽管有些根本没有结构。

“数据孤岛是一个严重的业务问题。我们在一个地方收集机器数据,另一个位置的安全数据,客户体验并支持另一个位置 - 列表还在继续。这种结构在部门层面上可能是有道理的,但是它可以防止合作以确保竞争力。公司需要一个运营数据层,这是业务流程的核心并支持数据共享。”沃尔特·斯科特(Walter Scott)福布斯技术委员会职位

有关的

集装箱在数据中心虚拟化世界中进展

数据虚拟化可帮助组织协调散布在各个部门,甚至在应用程序,社交媒体和跨网络上的数据,没有产生额外的收款费用建筑数据仓库或积累有关庞大数据湖泊的原始数据。

“数据虚拟化创建了多个数据源的逻辑视图,而无需组织复制数据并尝试将其均匀化为单个源。”Mike Wronski,前Nutanix产品营销总监。

降低访问和分析数据的复杂性

当数据虚拟化处于起步阶段时,它涉及使用具有严格数据模型和缓存结果的联合数据库,以提高性能。但是,工程师必须手动指定和执行基础数据结构和来源。今天,由于生态系统可用和生成的大量大数据,这种方法已过时和不切实际。

最终,有可能将来自许多不同来源的数据(包括电子邮件和Twitter对话)的数据结合到单个存储库或数据湖中进行分析。但是,这样做需要组织将大量数据复制到难以构建,更新和管理的新存储库中。随着时间的流逝,该过程的成本效益因增加的存储和处理费用以及复杂性而丧失,促使一些观察者宣布这一点“数据湖正在变成数据沼泽。”

这种复杂性成为数据虚拟化的主要驱动力。“今天,您只有三到四个数据库。您可能有40个,包括关系,图形,搜索和键值商店,包括本地和云中。”马修·贝尔德(Matthew Baird),C3的副总裁。

他继续说:“当今跨网络的技术蜘蛛在源头上发现数据,使用机器学习来解释查询结果,并相应地优化模式。”“这是一个自主过程,可以理解足够的基础架构,可以做数据工程师会做的事情。您告诉我们您拥有的东西,我们找出使用它的最佳方法。”

数据虚拟化使查询能够同时跨越许多数据源,同时向用户出现是一个凝聚力的资源。数据本身永远不会移动,这会减少复杂性,更少的错误以及在服务器,存储和带宽上节省的收益。

此外,增加抽象层根本不会提取性能惩罚。就像VMS通过使用裸机硬件的性能服务器和存储虚拟化,数据虚拟化体系结构通过在基本源数据中并行处理查询来改善响应时间,并在提出结果之前整合结果。

数据虚拟化的关键好处

Baird说:“几乎每个公司的每个级别都有虚拟化的空间,因为没有人只有一个数据库。”

但是,较大的收益来自为每个需要访问数据的人,单个目录,一种单一验证方法的人。他补充说:“了解整个企业需求的网关具有巨大的价值。”“您知道哪些位置在哪些用户查询哪些数据和驱动结果。”

这具有偶然的好处,可以提供统一的观点,即如何在整个企业中使用数据 - 组织可以使用这些信息来更有效地分配其存储和数据资源。其中一些是:

  • 基础架构 - 不足的环境可以集成不同的数据源,降低数据冗余和节省运营成本
  • 可以按用户要求或使用数据的应用程序的格式发布多面数据传输,因为组织可以将数据集以数据服务或数据视图发布。
  • 多源和多模式数据访问使用户可以简单地以各种角色来按需和需要的基础来处理数据,从而确保信息敏捷性并在业务设置中加快决策的加速。
  • 混合查询优化允许用户创建并运行定制的查询,以针对计划中的PUSH,需求扣和其他高级数据请求。
  • 强大的安全性和数据治理可确保数据免受未经授权的用户,设备和位置未经授权的访问的安全访问。也可以隔离或解除从池中有问题或不合格的特定数据源。
  • 通过现代数据虚拟化工具对可重复使用的虚拟数据层创建可重复使用的虚拟数据层的结果提高了数据质量和减少数据延迟,这些工具将数据转换逻辑应用于演示层。由于不需要复制,因此消除了过时或不一致的数据的风​​险,也不需要重复提取。
  • 简化的体系结构掩盖了基础流程和简化应用程序开发和维护的复杂性。它还允许将新的云源与现有的IT基础架构更容易集成。

数据虚拟化的用例

数据虚拟化市场正在蓬勃发展 -事实和因素的研究表明,到2026年,它已准备超过85亿美元。对哈杜普的幻想(分布式数据处理框架被广泛归功于企业中大数据的早期采用)以及Kubernetes和云本地解决方案

有关的

虚拟化整个数据中心

以下是企业中一些常见的数据虚拟化用例:

改进逻辑数据仓库(LDW)功能:与传统的数据仓库不同,数据没有存储在LDW中,因此无需准备或过滤数据。数据虚拟化只是在数据存储和存储库以及应用程序(例如数据仓库,数据湖泊,Web Services,Hadoop和NoSQL)等应用程序以及应用程序中提供了关联,并透明地向最终用户提供了数据视图。它使用REST,ODBC和JDBC(例如REST)的常见协议和API来促进快速数据传输。管理员还可以自动分配工作负载,以确保SLA合规性。

增强大数据分析:大数据和预测分析取决于非均质数据源的实时使用,例如电子邮件,社交媒体,物联网设备等,这些数据源需要实时集成和与多个设备,平台和应用程序进行实时集成和互动。数据虚拟化可实现高级查询和分析的派生数据的逻辑视图。与BI工具和分析应用程序快速集成确保信息敏捷性。

促进共享数据访问:组织中信息孤岛的主要原因之一是不同部门使用不同的系统,这些系统不会相互交流。例如,银行设立了不同的呼叫中心和客户服务部门,以处理房屋贷款,信用卡和零售银行。通常,开发人员需要编写扩展的代码行,以在这些功能之间启用数据共享。这也可能需要复杂的数据转换操作和数据库映射。数据虚拟化可确保从客户服务高管到区域经理的每个人都可以从多个数据存储中访问客户的整个投资组合,并在统一的仪表板上看到它。

更快的数据集成:数据虚拟化的主要目的是优化企业仓库,以收集,存储,传输和转换大量数据以进行查询和分析。传统的数据集成方法(例如ETL)对批量数据移动有益,但它们是时间密集型和性能扣,在大数据量下。数据虚拟化理解每个数据源,并采用手术方法来进行数据的均质化和移动。开发人员可以使用具有智能缓存和内存元数据的全局名称空间来在应用程序级别而不是存储级别上集成数据。这意味着仅移动和处理查询或交易绝对需要的数据。

数据驱动数字转换……实际上

几乎每个企业和组织都从以产品为中心或以服务为中心的模型转移到以客户为中心的模型。今天的数据无处不在意味着消费者可以访问几乎与企业本身一样多的信息,从而导致需求不断增加。

随着组织难以处理不断增加的数据,虚拟化等技术将使数据视为战略资产而不是功能资源。如果不投资关键任务数据并在正确的时间将其交给合适的团队,则注定会停滞和失败。在这里,CIO和CTO需要领导着增强组织数据准备就绪,并赋予员工能够通过数据,分析和技术来推动战略性,长期成功。

这是2020年3月10日发布的原始文章的更新版本。

Dipti Parmar是一名营销顾问,也是Nutanix的撰稿人。她写了有关主要技术和商业出版物的专栏文章@diptparmar并与她联系LinkedIn

©2021 Nutanix,Inc。保留所有权利。有关其他法律信息,请到这里

Baidu