Kaiyun(中国)官方网站-体育专属平台

海量数据推动云计算和IPFS迅速发展存储器持续向大容量、高性能演进-Kaiyun体育|官方入口
新闻中心 分类
海量数据推动云计算和IPFS迅速发展存储器持续向大容量、高性能演进

  据IDC的预测,到2024年,全球将创建、复制和消费143ZB的数据,其中中国创建的数据为36ZB,占25%。如此庞大的数据有多少被存储下来了呢?西部数据认为只有不到1.5%的数据被存储下来了。业界更是有人认为这个估计过于乐观,被存储下来的数据其实是低于这个比例的。

  为什么会出现这种情况呢?几年前业界就在宣传数据是当代石油,是发展的动力。那这么多宝贵的石油就这样流失掉了,没有进行挖掘和分析处理,不是很浪费吗?

  西部数据公司副总裁兼中国区业务总经理刘钢认为,这么多数据没有被存储下来的主要原因是因为存储的架构和存储的技术没有及时跟上,因此大部分的数据都没有办法被存储下来并及时使用。

  这也就是说,目前企业级的存储架构正面临着一些不可避免的挑战,包括数据增长迅速、存储性能需求倍增、TCO成本负担增加,及更绿色能耗体系标准的挑战。

  人们需要大容量、能快速访问、并且成本更低,能耗更低的存储。那么,有没有一个存储设备,或者一种存储介质能够同时满足这四个方面的要求呢?

  刘钢在不久前的2021深圳国际大数据与存储峰会上表示,能满足这四个要求的单一存储介质或者存储设备的确是非常难找到。但幸运的是,人们可以通过创新的架构,用系统来满足用户各方面、各种存储场景的需求。“因为用户的数据是要进行分层的,用户的数据有不同的类型,不同类型的数据对存储的要求也是不一样的。”

  在刘钢看来,数据是有分层的,因此他把数据分成了极热数据、热数据、温数据、冷数据和极冷数据五层。并且还划分了每层对应的应用场景。

  而对于不同层的数据,需要采用的存储介质和存储设备是不一样的。比如对于冷数据和极冷数据而言,业界目前常用的方案是高密度的大容量企业级硬盘。

  刘钢对媒体表示,目前高密度企业级硬盘已经进化到了18T。针对极冷存储,西部数据利用软件和技术优化,采用了SMR叠瓦式的硬盘能做到20T的高密度企业应用。

  谈到具体产品,刘钢介绍说,20TB Ultrastar DC HC650主机管理SMR HDD和16TB与18TB Ultrastar DC HC550 CMR HDD已经于2019年9月发布,是优先进入商业化实施阶段的EAMR技术。凭借西部数据HelioSeal技术提供的出色功耗以及机械创新(例如提高磁头定位精度并提供更大容量功能的TSA),这些HDD可提供领先的面密度,九磁碟硬盘还使客户能够更有效地配置和扩展数据中心环境,同时提供更低的总体拥有成本。

  单位TB价格( $/TB) 是存储服务器购置成本的关键组成部分,也是构建现代云数据中心的一个考量核心。相比较于$/TB这一维度,TCO则更能体现准确的数据中心运营成本:TCO 的降低并不限于降低 $/TB。每个硬盘的容量越大,意味着更少的服务器拥有更大的储存容量,从而节省资本支出和运营成本。例如从14TB迁移到18TB呈现出显著的TCO收益:服务器减少了22%;TCO降低了11%。鉴于数据中心占用空间有限,通过更高的HDD容量进行更密集的存储部署,还可以产生更多的收入。

  存储服务器的成本通常要求控制在数据中心总体运营成本的60%以内。而实际上,更高容量的HDD可以更有效地平衡这一需求。西部数据持续进行多项技术的创新,例如能量辅助、机械设计、材料和记录技术,帮助所有数据中心客户,无论是超大规模云客户,大型企业还是中小企业来有效应对他们的数据基础架构挑战。

  Kaiyun(开云)体育官方网站

  刘钢还透露了一个消息,那就头部的云服务商硬盘在过去4年当中,从8T进化到了18T。而的IPFS的服务商则在以更快的速度进化,他们几乎在过去四个季度就走完了云服务商过去4年的演进过程,也从8T进化到了18T。

  为什么数据中心能迅速从8T进化到18T呢?其实是当数据中心只是从14T升级到18T,为了达到同样存储的容量,服务器数量会减少约22%,而且不仅是服务器数量减少了,存储密度也提高了,而且单位功耗还降低了约21%,因此部署成本降低了,运维成本也降低了。

  除了大数据之外,还有一部分的数据用户需要能够快速访问,比如像热存储、温存储等,这些数据指的就是快速据。西部数据把SSD划分成了两类,一类是主流的SSD,还有一类是针对写密集、计算密集的高性能SSD。

  谈到SSD,目前其主要容量点是3.84T和7.68T。“SSD的主要成本在闪存(Flash),Flash决定了SSD硬盘的成本和性能。所以一家SSD的供应商需要有大规模的产能,能够保证供应,同时能够降低成本,还要有领先的Flash技术能够提供高性能Flash、有自主可控的控制器和部件来纵向地优化SSD的产品,提供一致稳定的高性能,而不只是某个时间的高性能或者峰值的高性能。”他指出。

  刘钢还提到了他们刚刚发布的第6代3D闪存技术,162层的3D闪存技术,该技术会进一步地缩小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高两倍以上,输入/输出的IOPS提高约66%。

  在刘钢看来,西部数据最大的优势是纵向集成的优势。他们不仅有控制器及其固件,再将它们与Flash纵向集成后,可以达到非常稳定的一致性。

  截止目前,西部数据已经与诸多行业领先的公司开展了合作,致力于依靠行业领先的技术和整体解决方案来支持客户与合作伙伴。

  Dropbox与西部数据携手,为确保流畅无缝地实现向SMR的迁移,Dropbox针对其特定机箱配置进行内部测试,采用SMR技术替换原有CMR技术后存储密度增加了10%-20%,节约了20%的TCO。

  作为率先认证Ultrastar 20TB SMR HDD的企业之一,Dropbox利用数据中心的大容量、高效率和扩展能力,应对满足全球企业、团队和个人对云存储和服务不断增长的前沿需求。Dropbox日前成为首批认证西部数据主机管理叠瓦式磁记录 SMR HDD Ultrastar DC HC650 20TB 的企业之一。通过将西部数据SMR HDD用作定制的EB级存储平台的存储基石,Dropbox遵循其战略路线,以更好总体拥有成本(TCO)实现更高的存储密度。

  西部数据、浪潮、星辰天合多方携手,联合推出IPFS 解决方案,在软件层面,该解决方案搭载了专为 IPFS 场景而生的 XSFS(XSKY Scalable File System)系统,通过全新的存储技术手段,基于通用的 X86 服务器构建了一个无限扩容、持续在线的高性价比存储架构体系,在保证数据高安全性的同时,打破存储规模壁垒,降低 IPFS 建设的投入,满足 IPFS 业务存储需求。

  杉岩数据联合西部数据,共同推出搭载了杉岩 MOS 海量对象存储系统以及西部数据SSD, HDD与JBOD存储平台,并针对 IPFS 进行了优化的解决方案。该系统能够满足算力集群数据写入需要的高吞吐量存储集群性能,并对时空证明请求进行了优化,使其可以获取多个文件的多段内容。同时,杉岩数据还在该方案中部署了 EC(22+2)冗余技术,实现了高达 91.6% 的存储空间利用率。

  长城超云与西部数据联手打造出多款完美贴合IPFS场景的产品级解决方案,在IPFS行业种得到广泛的应用。方案主要以西部数据高性能大容量企业级硬盘Ultrastar DC HC550系列的18TB HDD为基础,设计了异构产品组合的集群测试方案,包括Miner、Worker和Storage,大幅提升了客户的业务效率,从而增强了客户在IPFS领域的核心竞争力。通过优越的产品配置与算法调优使得整体效率提升50%以上,同时单T有效算力硬件成本大幅降低。

  全球主要国家纷纷将开源纳入国家级战略,开源生态呈现出一片欣欣向荣的景象。我国作为全球数字经济的重要参与者和建设者,自然不能置身事外。然而面对开源大潮,中国究竟准备好了吗?我们如何在激烈的国际竞争中抢占先机,打造属于自己的开源生态,并最终在智能时代占据制高点?

  VSP One不仅实现了设备和数据的统一管理,还极大提升了数据安全性和业务效率,为统一混合云存储提供了数据基础。

  在2024云栖大会上,全球软件开发工具提供商JetBrains发布了基于阿里云通义大模型的JetBrains AI Assistant,为开发者带来了全新的智能工具。

  随着AI推动数据中心能源消耗的空前增长,公用事业公司和超大规模企业陷入了一种不稳定的、有时甚至是对抗性的合作关系以扩大产能。

  VSP One代表Hitachi Vantara对未来存储的理解和预测

  亚马逊云科技连续三届支持世界技能大赛云计算赛项 助力职业院校培养云计算应用型技能人才

  突破效率极限,JetBrains携手阿里云推出AI Assistant

  如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一