您当前的位置:首页 > 文章摘抄 > 正文

数据中心架构,什么样的数据架构才能满足ZB时代数据存储需求

数据中心架构,什么样的数据架构才能满足ZB时代数据存储需求

2019年的存储市场受到了需求放缓、价格下跌、库存积压等不利因素的影响,但并没有影响存储市场需求的持续增长和产品技术的不断提升。在不久前举行的闪存市场峰会(CFMS 2019)上,美国西部数据公司高级副总裁兼中国区总经理Steven Craig发表了主题演讲ZB时代数据存储的核心架构——机遇、挑战和阶段。

在演讲中,史蒂文还对存储市场的前景表示乐观,认为NAND闪存市场将在年底重拾上升趋势。图1:西部数据公司高级副总裁兼中国区总经理Steven Craig认为,NAND闪存将重拾升势。

存储技术之所以能够跟不上数据产生的速度做出这个判断是他看到现在的数据产生量在上升,2018年大约产生了32ZB的数据。ZB的概念是什么?我们现在的手机存储容量一般是64GB,1ZB=1024 EB=10241024 Pb=102410241024 TB=102410241024 GB,也就是1040GB,大约1万亿GB。

这是一个巨大的数字。"到2023年,预计将产生103ZB的数据。

"史蒂文克雷格进一步指出。这些数据主要来源于末端的边缘数据,边缘整合的数据,云端处理转换的智能信息。

史蒂文克雷格看来,这些看似庞大的数据,实际上只有一小部分会被存储。比如2018年存储的数据量约为5ZB,占生成数据的15%;预计到2023年,存储数据约为12ZB,占生成数据的11%。

其他数据将会丢失,并且永远无法恢复。存储的数据如此之少是有原因的。

其中一个重要原因就是我们的存储技术和设备没有跟上数据增长的新趋势。因此,史蒂文克雷格指出,我们必须改变思维模式,为未来更大规模的数据存储做准备,准备相关技术。

"图2:2018年产生的数据为32ZB,存储的数据量为5ZB;预计2023年将产生103ZB数据。主流的3D NAND闪存已经达到96层,还是不够。

随着数据量的急剧增加,QLC的兴起,主流存储技术也在飞速发展。从2014年的24层,2016年的48层,2017年的64层,2018年的96层,明年的1XX层,NAND闪存的技术更新越来越快。

图3:快速发展的3:NAND闪存技术。然而,史蒂文克雷格在主题演讲中也提到,简单地增加层数看似简单,但实际上并没有不能帮助制造商降低成本,但增加了更多的成本,并可能有错误。

增加层数意味着需要制造更多的晶片,这导致成本增加。他举了48层扩建到64层的例子。

当时的成本大约是每平方米8000美元。"当然,我们可以通过规模化生产来降低成本。

"史蒂文克雷格指出。目前,扩展闪存容量的方法主要有三种:一是增加存储空穴的密度;二是增加存储单元的密度;三是通过逻辑扩展增加位密度。

图4:增加闪存容量的三个方面。三个维度增加容量的效果是不一样的。

"从64层扩展到96层时,存储孔密度增加10%左右;存储单元的密度增加了68%;TLC位密度提高了65%。结合这三种方法,我们可以看到整个闪存容量的增长。

"史蒂文克雷格在演讲中说道。在逻辑扩展方面,目前的主流技术是TLC,但下一代将是QLC,可以实现每个存储单元4位数据。

他预计,到2025年,整个QLC的市场份额将增加到50%,包括企业、消费者和移动flash应用。图5:QLC和TLC的位密度比较。

虽然QLC具有可扩展性、成本/TCO效益以及出色的访问和读取性能等优势,但未来可能会迅速崛起,但赢它能顺利接管TLC吗?那这不一定,因为目前QLC也面临着一些关键的挑战,比如写作限制。面临写入限制挑战的不仅仅是QLC,还有叠瓦式磁记录(SMR),这种磁记录在制造工艺上略有变化,但可以大大增加磁盘的存储密度。

SMR磁盘与磁盘上的数据轨道部分重叠,就像屋顶上的瓦片一样。SMR盘的读取行为虽然和普通盘一样,但是写入行为发生了很大的变化:不再支持随机写入和就地更新写入。

这是因为SMR磁盘上新写入的磁道将覆盖所有重叠的磁道,从而破坏了上面的数据。换句话说,与传统磁盘相比,SMR磁盘不再支持随机写入,而只能执行顺序附加写入。

写模式的限制给想要使用SMR磁盘的存储系统带来了巨大的挑战。分区解决了高容量存储磁盘的写限制挑战。

为了应对QLC和SMR面临的写入限制挑战,我们不应停留在介质本身,而应着眼于整个数据的基础架构。因此,西部数据提出了开源的标准化分区存储技术。

Steven Craig表示希望西部数据的分区存储架构能够赋能应用层、主机和存储。相互协调数据存储位置,充分利用SMR硬盘上可以实现的最大存储容量,并在采用新兴分区命名空间(ZNS)标准的NVMe SSD上实现更好的耐用性、可预测的低延迟和QoS(服务质量)性能。

图6:西部数据公司产品市场部副总裁朱。西部数据公司产品市场部副总裁朱表示,分区存储技术可以应对新兴应用带来的数据爆炸,帮助用户在ZB容量的存储时代保持有竞争力的总拥有成本,实现更大的规模经济。

"自6月西部数据推出分区存储技术以来,我们已经与全球基本上所有大型云服务提供商和大型OEM系统制造商联手,在整个系统层面实现智能数据安全,这可以很好地帮助最大存储密度的QLC大规模部署在数据中心。"朱在接受媒体群访时说。

对于数据安全,他特别指出包括三方面的保障:一是从存储的固件上,西部数据的固件提供了多种加密选项供系统厂商选择,如se、ISE、SED等,各种加密选择标准都能满足。这样可以很好的配合系统层甚至一些国家的规定,增加系统端存储软硬件的平滑加密。

其次,从产品的特性来看,西数的产品都有主机锁。当您插入或拔出系统时,会出现一个握手& gt;过程。

如果握手& gt;就是不成功,根本没有办法获取数据。这是通过软件层面实现的。

这项技术被称为SD卡上的主机锁和硬盘上的ATA。再次,从组件的健康管理来说,以硬盘为例,西数有两种健康管理。

一种是基于设备的。西部数据可以根据设备上的数百个参数,预测硬盘何时会被人工智能攻破。

这样,可以提前维护、替换或迁移数据。图7:西部数据提出的分区存储架构。

在演讲中,Steven Craig还介绍了西部数据在分区存储技术生态系统中的两种硬盘。其15GB SMR HDD硬盘已批量出货,其20TB SMR HDD预计明年正式上市;ZNS NVMe固态硬盘平台也推出了一款产品,DC SN340。

Steven Craig认为,通过提供智能应用架构,SMR和ZNS将成为当前和未来ZB级数据时代的关键基石。图8:开源分区存储生态。

三种全新的存储解决方案,满足各种物联网和工业应用场景的需求。除了分享闪存技术的发展趋势,西部数据在本次CFMS2019上还带来了三款专为工业4.0时代和物联网设备设计的全新解决方案:iNAND IX EM132嵌入式闪存盘、IX LD342 SD存储卡和IX QD342 microSD存储卡。

图9:西部数据推出的三款工业和物联网应用新解决方案:iNAND IX EM132嵌入式闪存盘、IX LD342 SD存储卡和IX QD342 microSD存储卡。谈及这三款工业产品发布的原因,西部数据公司产品市场部总监张丹解释说,他们对《ZB时报》现在和未来的数据进行分析判断后,发现了数据的两个趋势:一是数据走向云端;二是计算力。

它理解云上的数据很容易。计算能力分配指的是边缘计算。

未来会有越来越多的计算能力放在边缘,也就是说边缘的计算能力会越来越强。边缘计算增强后,会产生很多新的商业模式,比如自动笑脸、无人超市、智能安防、自动驾驶、智能工厂等等。

这些不断变化的物联网和工业解决方案将实时产生海量数据。因此,为了适应增强的计算能力以及这种计算能力所驱动的数据变化,我们推出了一些与边缘计算合作的产品。

"张丹指出。图10:西部数据公司产品市场部总监张丹正在介绍西部数据的一系列产品。

虽然都是边缘存储的要求,但是物联网和工业的应用场景太多了,不同的应用场景其实对存储的要求也不一样。根据张丹的不同存储需求,物联网和工业的应用场景分为四类:一类是基于图像的,尤其是需要图像分析的应用场景,如安防、无人机、交通、可穿戴相机等。

在这种场景下,内存的工作负载非常大。它是用高比特率数据流和图像流长时间写入的。

这对存储器件的带宽和写入寿命有一定的要求,或者说非常严格的要求。二、工业网关、工业自动化和自动化楼宇应用场景。

在这种场景下,可能没有高频的数据流写入,但是要求高可靠性,因为存储设备的工作环境非常恶劣,设计时要考虑设备是否能适用于恶劣、潮湿,或者地震多发、高海拔、不可控,甚至特殊的应用场景。三是物联网模块、智慧医疗、自动售货、嵌入式数据等新兴应用场景。

我不不知道这种应用场景未来会发展到什么程度,可能有太多未知的领域和数据链需要探索。第四,数字标牌、销售点、管控平台等传统应用场景。

这种应用场景需要满足可靠性、有效性、数据的互操作性、与平台的协调性等要求。一般来说,为了满足物联网和工业在这些不同应用场景下的要求,存储产品需要满足温度、使用寿命和可靠性的要求。

随后,张丹详细介绍了西部数据的工业存储新产品。其中,iNAND IX EM132嵌入式闪存盘是西部数据为工业和物联网设备设计的首款e.MMC嵌入式闪存盘。

搭载西部数据高可靠64层3D NAND技术,最大容量提升至256GB。这款产品有两个版本,温度范围很宽,分别是-25C到85C和-40C到85C,她特别提到,iNAND IX EM132嵌入式闪存盘是西部数据第一款基于3D技术的工业产品。

前两代产品是基于2D的MLC。虽然采用了3D TLC,但闪存盘延续了其2D产品所要求的3000 PE周期,支持最新的e.MMC5.0标准,随机写入速度可达200m/s以上,同时还支持高级健康管理、热量管理、智能分区、自动和手动读取和刷新,以及符合JEDEC标准的数据保持。

"通过我们的设计,TLC可以达到3000 PE次,但当涉及到对耐用性要求更高的新兴应用场景时,我们还可以通过智能分区特性将部分或全部设备恢复到SLC,SLC的寿命或读写次数可以达到10万次/100k。"张丹进一步解释说。

智能分区的另一个优点是,在恢复SLC的过程中可以实现纯物理分区或隔离。"Ixld342sd存储卡和Ixld342 microSD也采用3D NAND闪存这两款产品具有运行状态管理和热量管理的特点,同时在存储卡中有一个功能,就是主锁,可以在一定程度上保证数据的安全性。

只有与主人成功秘密的主人才能读取存储卡中的数据。这将防止任何人读取存储在公共摄像机中的数据。

产品展示上述这些新产品在闪存市场峰会的Western Digital展台上展示。图11:西部数据展示的IX LD342 SD存储卡和IX QD342 microSD产品。

这两款内存产品microSD卡只有食指指甲盖大小,最大厚度1.1mm图12:与恩智浦合作的demo。这个演示主要用来演示内存被写了多少次,最低温度,最高温度,当前工作温度。

它的使用寿命有多长,启动过多少次等等。图13:这里展示了西部数据公司推出的ZNS固态硬盘。

这款ZNS SSD主要针对分区存储生态。目前采用薄层色谱法,未来将采用QLC。

标签:数据西部数据产品


声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,谢谢。

上一篇: cctv5德甲直播(CCTV5今日直播2325德甲 第2轮拜仁慕尼黑沃尔夫斯堡)

下一篇: 华硕主板如何进入bios(华硕主板开机进入bios按哪个键)



推荐阅读