欧阳道创编 2021.03.06 大数据存储方式概述 时间:2021.03.06 创作:欧阳道 随着信息社会的发展,越来越多的信息被数据化, 尤其是伴随着Internet 的发展,数据呈爆炸式增长。从存 储服务的发展趋势来看,一方面,是对数据的存储量的 需求越来越大,另一方面,是对数据的有效管理提出了 更高的要求。首先是存储容量的急剧膨胀,从而对于存 储服务器提出了更大的需求;其次是数据持续时间的增 加。最后,对数据存储的管理提出了更高的要求。数据 的多样化、地理上的分散性、对重要数据的保护等等都 对数据管理提出了更高的要求。随着数字图书馆、电子 商务、多媒体传输等用的不断发展,数据从GB、TB到 PB量级海量急速增长。存储产品已不再是附属于服务器 的辅助设备,而成为互联网中最主要的花费所在。海量 存储技术已成为继计算机浪潮和互联网浪潮之后的第三 次浪潮,磁盘阵列与网络存储成为先锋。 一、 海量数据存储简介 海量存储的含义在于,其在数据存储中的容量增长 是没有止境的。因此,用户需要不断地扩张存储空间。 但是,存储容量的增长往往同存储性能并不成正比。这 欧阳道创编 2021.03.06 欧阳道创编 2021.03.06 也就造成了数据存储上的误区和障碍。海量存储技术的 概念已经不仅仅是单台的存储设备。而多个存储设备的 连接使得数据管理成为一大难题。因此,统一平台的数 据管理产品近年来受到了广大用户的欢迎。这一类型产 品能够整合不同平台的存储设备在一个单一的控制界面 上,结合虚拟化软件对存储资源进行管理。这样的产品 无疑简化了用户的管理。 数据容量的增长是无限的,如果只是一味的添加存 储设备,那么无疑会大幅增加存储成本。因此,海量存 储对于数据的精简也提出了要求。同时,不同应用对于 存储容量的需求也有所不同,而应用所要求的存储空间 往往并不能得到充分利用,这也造成了浪费。 针对以上的问题,重复数据删除和自动精简配置两 项技术在近年来受到了广泛的关注和追捧。重复数据删 除通过文件块级的比对,将重复的数据块删除而只留下 单一实例。这一做法使得冗余的存储空间得到释放,从 客观上增加了存储容量。 二、 企业在处理海量数据存储中存在的问题 目前企业存储面临几个问题,一是存储数据的成本 在不断地增加,如何削减开支节约成本以保证高可用性; 二是数据存储容量爆炸性增长且难以预估;三是越来越 欧阳道创编 2021.03.06 欧阳道创编 2021.03.06 复杂的环境使得存储的数据无法管理。企业信息架构如 何适应现状去提供一个较为理想的解决方案,目前业界 有几个发展方向。 1.存储虚拟化 对于存储面临的难题,业界采用的解决手段之一就 是存储虚拟化。虚拟存储的概念实际上在早期的计算机 虚拟存储器中就已经很好地得以体现,常说的网络存储 虚拟化只不过是在更大规模范围内体现存储虚拟化的思 想。该技术通过聚合多个存储设备的空间,灵活部署存 储空间的分配,从而实现现有存储空间高利用率,避免 了不必要的设备开支。 存储虚拟化的好处显而易见,可实现存储系统的整 合,提高存储空间的利用率,简化系统的管理,保护原 有投资等。越来越多的厂商正积极投身于存储虚拟化领 域,比如数据复制、自动精简配置等技术也用到了虚拟 化技术。虚拟化并不是一个单独的产品,而是存储系统 的一项基本功能。它对于整合异构存储环境、降低系统 整体拥有成本是十分有效的。在存储系统的各个层面和 不同应用领域都广泛使用虚拟化这个概念。考虑整个存 储层次大体分为应用、文件和块设备三个层次,相应的 虚拟化技术也大致可以按这三个层次分类。 欧阳道创编 2021.03.06 欧阳道创编 2021.03.06 目前大部分设备提供商和服务提供商都在自己的产 品中包含存储虚拟化技术,使得用户能够方便地使用。 2.容量扩展 目前而言,在发展趋势上,存储管理的重点已经从 对存储资源的管理转变到对数据资源的管理。随着存储 系统规模的不断扩大,数据如何在存储系统中进行时空 分布成为保证数据的存取性能、安全性和经济性的重要 问题。面对信息海量增长对存储扩容的需求,目前主流 厂商均提出了各自的解决方案。由于存储现状比较复杂, 存储技术的发展业界还没有形成统一的认识,因此在应 对存储容量增长的问题上,尚存在很大的提升空间。技 术是发展的,数据的世界也是在不断变化的过程中走向 完美。企业信息架构的“分”与“合”的情况并不绝对。目 前、出现了许多的融合技术,如NAS 与SAN 的融合, 统一存储网等等。这些都将对企业信息架构产生不同的 影响。至于到底采用哪种技术更合适,取决于企业自身 对数据的需求。 三、 海量数据存储技术 为了支持大规模数据的存储、传输与处理,针对海 量数据存储目前主要开展如下三个方向的研究: 1. 虚拟存储技术 欧阳道创编 2021.03.06 欧阳道创编 2021.03.06 存储虚拟化的核心工作是物理存储设备到单一逻辑 资源池的映射,通过虚拟化技术,为用户和应用程序提 供了虚拟磁盘或虚拟卷,并且用户可以根据需求对它进 行任意分割、合并、重新组合等操作,并分配给特定的 主机或应用程序,为用户隐藏或屏蔽了具体的物理设备
2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问加。
3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大学计算机基础_实验报告_实验2_文件与文件夹管理-采矿2020级 (1).pdf
快消品企业数字化营销案例研究:虚拟现实技术在营销中的应用[001].docx
药物研发效率提升:2025年合成生物学在药物研发中的快速筛选与优化.docx
专题1.3运动的图象、追及相遇问题(测)年高考物理一轮复习讲练测(解析版)Word版含解析.doc
一汽大众奥迪Q3_汽车使用手册用户操作图解驾驶车主车辆说明书电子版.pdf
原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者