生成,处理和存储的数据量(每天都在每天都以前所未有的速度增长。数据不仅是由人类创建的,还由不同类型和格式的应用程序,算法和物联网设备创建。这种对数据的胃口不断增长,并导致了为消费者设备的存储技术的快速创新,甚至更大程度上,它的数据中心是跨行业的电力业务。
“在2020年,创建或复制了64.2 ZB的数据,这违背了Covid-19-19对许多行业的全身向下压力,其影响将在几年内感受到数年。”戴夫·雷金斯(Dave Reinsel)说,高级副总裁,IDC'SGLOBAL DATASPHERE。
“未来五年创建的数字数据量将大于自数字存储出现以来创建的数据量的两倍。问题是:应该存储多少?”
这是预测在一篇题为“钻石可能永远是永远的,数据不是。”
Nutanix高级副总裁Lee Caswell说:“数据与物理资产不同,因为该价值实际上可以随着时间的推移而增加。”
“将新分析应用于数据可以导致新的见解和更好的决策。”
结果,存储系统的价值正在从单纯的存储转移到洞察力的活动数据处理,这反过来驱动了对高容量,超快速和可靠的闪光设备的需求。
“组织应该考虑现在准备存储更多数据,因为他们试图通过加速创新数据分析计划来实现数字化转型里程碑并改善业务指标。”约翰·瑞宁(John Rydning),IDC研究副总裁。
幸运的是,内存和存储技术的进步使数据中心和云服务提供商(所谓的“超级标准”)可以存储和传输大量数据。要知道无处不在的云技术如何使用尖端存储资源(硬件和软件)进行大规模数据处理。
输入闪光灯的SSD
当涉及到日常应用程序和数据的云(或云数据中心)存储时,企业(以及其他所有人)已从硬盘驱动器(HDDS)过渡到固态驱动器(SSD)。SSD在各个方面都具有与HDD相比的关键优势:
- 每单位存储容量较高
- 由于固有的延迟较低(硬件中的移动部件较少)和软件定义的管理平面,因此读,写和擦除时间更快
- 降低功耗
- 更大的可靠性,耐力和更长的寿命
- 缓慢硬盘驱动器允许每位竞争成本的存储效率
这些SSD的构建块是一个简单的(确定,非常复杂的基于半导体的单元格),称为Flash。今天的闪存为物联网和其他设备中的智能手机,笔记本电脑,服务器,存储阵列和存储芯片提供动力。
“磁盘驱动器曾经在成本敏感的消费设备(如PC,DVRS甚至MP3播放器)中很常见。 All of consumer devices moved to flash as costs decreased, because flash offers near-instant response times along with low power, cooling, space, and noise,” said李·卡斯韦尔,Nutanix的产品和解决方案营销高级副总裁。
“从数据中心到云的IT存储系统都在重视处理速度和分析洞察力的任何地方都采用完全相同的路径。”
3D NAND FLASH是闪存技术的当前迭代,涉及在平面矩阵中排列的硅芯片,并在多层上彼此之间排列,以制造3D堆栈。这样,每单位表面积的可用存储乘以乘以,而单个单元之间的接近性可以更快地进行通信,而不会对性能或可靠性产生不利影响。
资源:EE世界在线
现代SSD使用非挥发记忆快递(NVME)接口通过外围组件互连Express(PCIE)总线访问闪存存储芯片。NVME允许在单个连接上提出数千个并行请求,从而显着消除了较旧的SATA接口所面临的性能瓶颈。
当今的企业数据中心和云提供商具有为速度和可用性而设计的复杂体系结构。为了在多云环境中启用最佳应用程序性能,数据中心使用所有闪光阵列 - 多个高容量SSD的集合,可为整个组织的多个服务器提供基于块的数据存储。
资源:PAC存储
尽管消费者只需阅读一些PCWORLD和ZDNET文章,但消费者只需选择SSD,而云建筑师和产品经理需要根据生产工作负载,可伸缩性,每TB的成本和大量的应用程序性能要求仔细选择每个存储硬件其他因素。
Caswell解释说:“ Flash SSD是现代规模扩大基础架构的关键设备,无论是在本地部署还是在公共云中,因为首次存储潜伏期不如网络潜伏期。”
“随着Flash SSD的价格下降和容量的提高,建立起来是实用的基于服务器的基础架构适合最高性能应用。”
Flash-Power的SSD越来越多地形成企业和超尺度存储系统的核心混合多云,高性能计算(HPC)或超融合基础架构(HCI)体系结构。
软件定义的存储将Flash的好处带入云
在云平台和基础架构提供商处购买存储空间显然不涉及企业SSD供应商的批量或批处理订单。专有存储系统无法使用大量的服务器满足构建的云的扩展需求,例如超融合基础架构。
结果,现在可以使用混合云中常见的服务器访问最新的闪存技术。然后,使用软件定义的虚拟化技术在虚拟计算实例上汇总,保护和共享这些服务器上的本地存储设备,这些虚拟化技术创建了大规模块,文件或对象虚拟存储阵列。
这使组织可以根据其工作量的要求来自由绩效,可用性或可靠性。一些主要好处包括:
- 可扩展的I/O每秒操作(IOPS)
- 根据I/O重试政策的“努力或快速失败”
- 下尾潜伏期
- 每块粒状访问磁盘分析和遥测
- 通过覆盖磁盘固件时间表来确定请求优先级的能力
- 控制背景任务的时间安排
这些功能共同使用,可以扩展关键的存储功能,无论软件定义的体系结构都从边缘到数据中心再到云。性能密集型存储硬件的标准化导致较低的TCO,减少数据碎片,较高的可用性和简单的无锁管理。
混合云和HCI环境默认为Flash Storage
随着越来越多的工作负载移至云,随着越来越多的应用程序执行更多的数据处理任务,云数据中心,HPC和HCI环境需要采用更多的存储加速方法,例如并行化和改组。NVME SSD完美适合账单满足这些密集的数据处理需求。
毫不奇怪,Nand Flash越过硬盘驱动器是2019年最受欢迎的存储方式,根据Wikibon研究。
直到最近,Flash SSD与HDD的价格曾经是一个巨大的问题。这正在迅速变化:Nand Flash的价格很昂贵即使本文正在撰写。实际上,到2026年,SSD的预计将以每单位的容量($/TB)为基础便宜。
资源:块和文件
HCI和混合云环境需要每天处理大量数据。几家云运营商和企业正在寻找具有50个TB驱动器的存储阵列,这些驱动器可以迎合其复杂的应用程序和数据库。
这是闪存存储的绩效优势发挥作用的地方。Flash SSD由于其DRAM级别的读/写速和带宽而提供的I/O性能比HDD好几个数量级。Legacy HDD和磁带不是为了处理当今云本地应用程序和数据库的I/O密集型要求而构建的。
Flash Storage不仅降低了组织的费用,而且还可以使在本地和云环境之间移动工作负载变得更加容易,并更准确地预测此类转变对操作的影响。
卡斯韦尔说:“今天的用户对性能非常敏感。”
如果应用程序的响应缓慢,客户会很快继续前进,并且Flash特别适合加速工作负载,例如数据库,数据仓库,数据分析和虚拟桌面。Flash加速使得可以在基于服务器的扩展基础架构上运行这些应用程序,该应用程序可以为在云或本地运行中运行的应用程序提供一致的体验。”
难怪现在所有主要的云提供商都提供基本的SSD存储,作为其SaaS,PaaS和IaaS服务的一部分:
- 亚马逊:AWS为其块存储EB,GP2和IO1提供SSD存储,以及文件存储FSX Windows和FSX光泽量,NC2块存储带有Nutanix。
- 微软:Azure具有其VM的托管磁盘块级存储选项。它支持合作伙伴解决方案,包括NetApp文件,高级文件和SSD上的存储帐户,Azure VMware Solutions和Nutanix NC2。
- 谷歌:GCP有两个Flash存储产品 - 高性能VM实例的高级本地SSD存储和持久性磁盘,以减少要求的工作负载。
凭借在体系结构和部署方面的变化和选项,云存储行业需要性能标准。Microsoft和Facebook试图通过开发和批准开放计算来准确地做到这一点NVME云SSD规范。它定义了吞吐量,延迟,耐力和安全性的可互操作,统一的设计和性能标准,通常需要进行高度和超融合环境。这确保组织具有按需存储的需求,制造商确切地知道他们想要什么以及出于什么目的。
闪存数据
任何存储技术(硬件或软件)的最终测试在于它可以启用云应用程序(以及扩展)访问和处理数据的方式。Flash通过加速了从生产力到遥测应用程序,再到读/写入密集型脚本和数据库,通过颜色通过了这项测试。
这样一来,它已成为企业云体系结构的事实上的标准。
李说:“一旦用户经历了快速的应用程序,他们就永远无法恢复性能缓慢。”
“最快的经历立即成为比较所有其他经历的规范,这简直就是人性。对于越来越多的使用绩效应用程序竞争客户忠诚度的企业来说,这已成为一个关键优势。”
这就是为什么云存储越来越受到AI和ML中应用程序的青睐(其中需要在长时间内处理大型数据集),Hi-Res流媒体(对于不间断的访问可用),高端游戏和AR/VR(既要求极高的读取速度和非常低的延迟)以及高性能计算(HPC)(需要隔离的数据处理,最大容量和超低潜伏期)。