DFS和对象存储如何在以数据为中心的世界中提供业务价值

对象存储和分布式文件系统(DFS)使组织能够在简化文件管理的同时大规模利用非结构化数据。

Dipti Parmar

Dipti Parmar2022年5月9日

说明数据推动了今天的技术以及今天的业务 - 并不是一件夸张的事情。数据是数字化转型的命脉和对每个行业和垂直行业发生的业务模型的根本变化的命脉。在COVID-19大流行之后,尤其如此 - 人们访问和使用数据的方式增加了多种多样的方式。

根据经常参考的IDC研究,如今的数据将是2025年的两倍以上的一半以上 - 这些数据中约有30%是实时的。

不用说,组织和IT团队正盯着​​解决数据存储和转移挑战(例如孤岛和无法获得性)的巨大挑战。每天都有成千上万的用户和设备创建数百万个文件,系统管理员和应用程序开发人员发现几乎不可能处理具有旧版存储基础架构生成的大量(大)数据。

除了复杂性外,IT团队还通过管理在不同情况下的存储和使用数据的法规不断变化。它的管理员和建筑师发现自己很难平衡功能,技术,竞争和监管需求策略性地管理和使用数据

因此,在查看技术驱动的存储和访问选项之前,有必要检查数据的不断变化,并充分了解其面临的挑战。

非结构化数据的挑战

更多的组织(而不仅仅是企业)当前有某种数字转型计划到位。结果是不仅是由用户生成的数据的爆炸,还包括基于AI的算法,分析工具,IoT设备,Edge的机器和API的爆炸。

增加生成的数据量和IT复杂性齐头并进。通过越来越多的用户,应用程序和设备来创建无尽的数据是复杂性的主要原因(和结果)之一。

那不是全部。数据的本质正在改变。关于所有数据的80%至90%今天生成的是非结构化的,即原始的和无组织的。这包括文档,电子邮件,文本片段,照片,调查响应,信息图表,呼叫笔录,编辑视频,特定于平台的帖子,机器日志等 - 由社交媒体,即时媒体,即时消息人士以及许多不同的应用程序和Web服务生成。

非结构化数据麻烦是与结构化数据不同,它不符合常规数据模型 - 它不是由模式定义的,它可能由多种基本数据类型组成,并且很难在关系数据库中分类,存储和管理。

那就不足为奇了不到五分之一的组织能够将非结构化数据放在任何良好的用途中。

“由于结构化数据更易于使用,因此公司已经能够做很多事情。但是,由于世界上大多数数据(包括大多数实时数据)都是无组织化的,因此可以分析和采取行动的能力,这是一个很大的机会。”迈克尔·舒尔曼,MIT Sloan的财务讲师和Kensho的ML负责人(现为S&P Global的一部分)。

有关的

制定统一存储的情况

基于文件的内容由非结构化数据组成,这些内容驱动了当今几乎每个行业的关键功能。数字媒体,协作和商业智能是影响这些变化的主要工作量。

企业需要灵活且可扩展的存储软件和基础架构,以满足这些不断发展的数据需求。同时,它们必须“聪明”,以简化管理和自动化数据操作。

换句话说,组织迫切需要在技术上与非结构化数据的步伐和复杂性一起部署存储体系结构,使他们能够获得见解并在不同的用例中提供价值,并遵守安全和监管围绕此数据的指南。

分布式文件系统(DFS)和对象存储

据加特纳说,企业有两种相互联系的解决方案,可以以具有成本效益的方式存储,管理和访问非结构化数据,并使用最小的基础结构中断。

第一个是分布式文件系统(DFS),Gartner这样定义的:

“使用单个并行文件系统将多个存储节点聚集在一起,显示一个单个名称空间和一个存储池,为并行的多个主机提供高带宽数据访问。数据和元数据分布在集群中的多个节点上,以自我修复方式提供数据可用性和弹性,并线性地扩展容量和吞吐量。”

不要走“ duh”。这是上下文:

传统上,数据存储为文件和块上的存储设备。反过来,存储总是以访问方式的方式进行组织。在单个级别上,文件以层次方式(在文件夹中)存储,使用流行协议,例如网络文件系统(NFS)或服务器消息块(SMB),通常是在文件服务器或网络附加的存储(NAS)设备上的数据中心中的数据中心。。当数据以“原始”级别访问数据时,它将使用ISCSI和光纤通道协议将其存储在块中,该协议通常在数据中心的存储网络(SAN)设备上。

有关的

混合云存储在企业中获胜的7种方法

显然,这些资源已接近计算资源,以最大程度地提高性能和可及性,减少延迟并简化管理。

回到DFS,Gartner的意思是,DFS是在多个服务器和/或位置“分布”的存储系统,该系统允许用户和应用程序透明地访问任何文件(无论其基础服务器或位置如何)。

DFS为数据操作带来了四种类型的透明度:

  • 结构透明度 - 客户不知道有多少服务器或存储设备构成系统或所在位置。
  • 访问透明度 - 客户端不知道他们是访问文件的本地还是远程副本,还是在哪个设备上访问。该文件会自动更新并在一个或多个位置同步。
  • 命名透明度 - 文件的名称不会放弃其位置或路径,并且在传输时保持恒定。
  • 复制透明度 - 如果将文件复制到多个节点,则所有副本及其属性都隐藏在其他节点中。

第二个存储系统是对象存储,关于哪个Gartner同样纠结:

“指的是将数据包含在称为“对象”的结构中的系统和软件,并通过RESTFUL HTTP API(例如Amazon Simple Storage Service(S3))为客户数据提供服务,这已成为访问对象存储的事实上的标准。”

不要走“嗯”。这是Gartner定义的英文翻译:

对象存储,以对象而不是文件或块的形式存储,访问和管理数据。“对象”由数据,其元数据和唯一标识符组成,所有这些都可以通过API或HTTP/HTTPS安全地访问。

对象是使用唯一的ID存储和识别的,而不是在传统存储体系结构中发现的传统目录和文件名结构。这允许建立平坦的结构,并大大减少存储所需的元数据的开销和大小。

一个对象的范围从几kb到大小的terabytes,一个容器可以容纳数十亿个对象。对象存储可以处理无限的媒体文件,并扩展到多个之前的媒体文件,而不会降解性能。结果,是人们(系统管理员和应用程序开发人员)选择存储解决方案的选择,以大规模处理非结构化数据。

对象存储架构的另一个优点是元数据位于对象本身中。这意味着它不需要构建数据库即可连接或合并元数据与对象。此外,可以随着时间的推移更改和添加自定义元数据,以更轻松的方式使对象可以搜索。

以下是DFS和对象存储的快速比较:

即使存在根本差异,这两种技术都可以同时使用,也可以比其他技术更好地用于不同的工作负载,业务功能和用例。

DFS为应用程序提供了更广泛的功能,例如充当数据库后端。它还允许较重的工作负载,需要每秒执行数百万个随机的读/写操作。

另一方面,对象存储是备份和存档工作负载的理想选择,因为它可以处理大量大型文件,并且TCO明显低于DFS。

这就是为什么Gartner对于DFS和对象存储供应商都有一个魔术象限的原因。

nutanix进入存储象限在2021年,它是该空间中的有远见的人,其文件和对象平台的目的是简化和降低运营成本。软件定义的存储旨在帮助IT领导者现代化并统一其非结构化数据存储。

利用DFS的好处

Nutanix文件是一种灵活的,智能的规模扩大DFS文件存储服务。它支持Nutanix中的SMB和NFS虚拟化的超融合环境并很容易在数据中心,远程和分支机构(ROBO),边缘位置和云中部署。

文件可以单击一键即时升级传统存储基础架构。

有关的

不要称其为卷土重来,数据磁带已经来了多年!

举个例子,雷丁大学在一个周末迁移到了Nutanix基础设施,并在十分钟的公寓内配置了400TB的存储空间。

“借助我们的遗产存储,将花费数周的时间放入新的服务器和存储空间,但是一旦Nutanix节点被固定,我们就按了扩展按钮,几分钟后,一切都完成了。为什么我们以前不能这样做?”瑞安·肯尼迪,该大学的计算团队经理在案例研究中说。

文件旨在处理数千个用户会话和数十亿个文件。管理员可以通过一次单击向文件服务器VM添加更多的计算和内存,可以在其选择的硬件上扩展群集。他们还可以了解随着时间的推移添加和修改的文件的类型和大小,以获得更好的容量管理。

内置自动化和控件使管理员可以跟踪整个基础架构的数据访问和移动,显示谁在实时创建,访问,移动,删除和修改文件和权限,并查看历史快照。

Nutanix文件有助于通过企业级数据保护提供适当的容量和性能平衡,以使需要高性能和高可用性(例如医学成像或视频监视等领域)(例如医学成像或视频监视)提供适当的平衡。

利用对象存储的好处

nutanix对象是一种灵活的S3兼容对象存储解决方案,使云数据管理数据虚拟化对企业的微风。

单个与S3兼容的名称空间可以扩展以支持非结构化数据的之前。没有最低存储容量。

对象可以适应存储工作负载,包括支持文件,块或VM存储方法的工作负载。

数据的复制,加密和不变性即可到达。管理员可以在任何对象上启用蠕虫(写许多阅读)政策,以确保数据保真度和数据保留依从性。对象版本操作也可用于另一种保护。

可以通过根据项目,合规性类别等标记对象来快速识别对象。很容易防止通过创建对象副本覆盖数据。

有关的

如何将疯狂的数据存储在数据库中

随着企业和ISV开发云本地应用程序,他们依靠基于对象的以S3 API为中心的模型来存储和自动化。

使用超融合基础架构(HCI)来云化数据

公司继续不懈地采用公共,私人和混合云模型,以满足其数据处理需求。可以肯定地说,云已取代了数据中心作为企业的数据存储库。实际上,IDC预测所有数据中的一半将存储在公共云中。

但是,大多数公司似乎在不断过渡的过程中被捕获更好的IT基础架构。他们进入了解决点问题的循环,而不是整体上都会改变IT架构。结果,它们最终从一个存储筒仓到另一个存储筒仓。

HCI通过将传统的基础设施叠加到可扩展的构件中,是该迁移阶段的关键阶段,内置的计算,存储和网络。Nutanix通过使HCI解决方案将HCI解决方案提升到了下一个级别企业云通过简单的软件增强功能。

组织仍在组织上部署更好的存储基础架构,使他们能够构建更好的数据模型来推动业务转换。

Dipti Parmar是一名营销顾问,也是Nutanix的撰稿人。她是主要技术和商业出版物的专栏作家@diptparmar或与她联系LinkedIn对于小斑点的斑点。

©2022 Nutanix,Inc。保留所有权利。有关其他法律信息,请去这里

Baidu