Kaiyun(中国)官方网站-体育专属平台

Kaiyun体育网站:一种基于大数据的数据存储方法-Kaiyun体育|官方入口
新闻中心 分类
Kaiyun体育网站:一种基于大数据的数据存储方法

  (S3)基于目标数据的键值信息,在可用存储空间中确定起始位置及可用存储空间中数

  (S4)根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由;

  (S5)将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。

  2.根据权利要求1所述的一种基于大数据的数据存储方法,其特征在于,所述步骤(S2)

  (S21)将所述通用数据操作接口地址作为存储地址的偏移地址,将所述通用数据操作

  接口地址所属数据操作接口作为第m存储接口,将从所述通用数据操作接口地址偏移地址

  至所述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段,所述m为

  (S23)若是,建立所述目标数据存储至所述第m片段的映射关系,并建立所述目标数据

  存储至第k备份片段的映射关系,所述第k备份片段为所述可用存储空间中与所述第m片段

  (S24)若否,以所述目标数据的首个数据为起始位置,按数据排列顺序从所述目标数据

  中截取符合所述第m片段的长度的数据,作为第m截取部分数据,并建立所述第m截取部分数

  据存储至所述第m片段的映射关系,并建立所述第m截取部分数据存储至所述第k备份片段

  3.根据权利要求2所述的一种基于大数据的数据存储方法,其特征在于,所述步骤(S3)

  中的目标数据的键值信息用于表征存储空间中确定存储地址的起始位置,所述起始位置对

  4.根据权利要求3所述的一种基于大数据的数据存储方法,其特征在于,在步骤(S4)

  中,基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地址

  的哈希信息,并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确定;

  如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由,则基于所述

  目标数据存储地址的哈希信息,对在所述存储空间的与所述目标数据存储地址哈希相关的

  5.根据权利要求4所述的一种基于大数据的数据存储方法,其特征在于,所述存储空间

  中还包括存储中断地址,并且基于所述目标数据存储地址的哈希信息和所述存储中断地址

  的哈希信息来确定所述目标数据存储地址的起始位置,若目标数据存储地址被确定作为所

  述存储中断地址的一个子地址,则基于所述目标数据存储地址和所述存储中断地址的另一

  个子地址来确定所述存储中断地址的哈希信息,并且相较于所述存储中断地址,先存储所

  述目标数据存储地址的哈希信息和所述目标数据;否则,则基于所述存储中断地址和所述

  6.根据权利要求5所述的一种基于大数据的数据存储方法,其特征在于,在所步骤(S1)

  中,当接收到预设类型的操作请求时,查询所述操作请求对应的存储路由;根据所述存储路

  由将所述操作请求所指向的目标数据从当前的服务器异步复制至相同存储类型的其他服

  7.根据权利要求6所述的一种基于大数据的数据存储方法,其特征在于,所述步骤(S2)

  基于服务器发送路由配置请求,获取多个服务器的服务部署信息;将根据所述服务部

  署信息生成的路由配置页面发送至所述服务器;所述路由配置页面展示有多个服务器标识

  及多种业务类型;将所述服务器基于所述路由配置页面返回的每种业务类型及服务器标识

  对于“大数据”,研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式

  才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信

  息资产;麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大

  超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、

  多样的数据类型和价值密度低四大特征;大数据技术的战略意义不在于掌握庞大的数据信

  息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产

  业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的

  “增值”;从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据

  必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行

  分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技

  术;随着云时代的来临,大数据也吸引了越来越多的关注。分析师团队认为,大数据通常用

  Kaiyun(中国体育) 开云全站网页

  来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据

  库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大

  型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

  数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计

  目前,对于大数据的存储服务要求特越来越高,现有存储系统的存储方式中,数据

  处理服务器从用户端接收到数据之后,一般先将数据缓存到内存中,再将内存中的数据写

  入磁盘中存储。但是,这种方式存在多次写入和读出数据的问题,导致存储速度低,并且会

  (S3)基于目标数据的键值信息,在可用存储空间中确定起始位置及可用存储空间

  (S4)根据可用存储空间的起始位置及存储映射关系查询目标数据的存储路由;

  (S5)将操作请求发送至目标数据的存储路由指向的数据块进行目标数据存储。

  (S21)将所述通用数据操作接口地址作为存储地址的偏移地址,将所述通用数据

  操作接口地址所属数据操作接口作为第m存储接口,将从所述通用数据操作接口地址偏移

  地址至所述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段,所

  (S23)若是,建立所述目标数据存储至所述第m片段的映射关系,并建立所述目标

  数据存储至第k备份片段的映射关系,所述第k备份片段为所述可用存储空间中与所述第m

  (S24)若否,以所述目标数据的首个数据为起始位置,按数据排列顺序从所述目标

  数据中截取符合所述第m片段的长度的数据,作为第m截取部分数据,并建立所述第m截取部

  分数据存储至所述第m片段的映射关系,并建立所述第m截取部分数据存储至所述第k备份

  进一步地,在本发明中,所述步骤(S3)中的目标数据的键值信息用于表征存储空

  进一步地,在本发明中,在步骤(S4)中,基于存储地址的起始位置的哈希信息和所

  述数据块大小来确定所述目标数据存储地址的哈希信息,并且所述目标数据的存储路由基

  所述目标数据存储地址的哈希信息,对在所述存储空间的与所述目标数据存储地址哈希相

  进一步地,在本发明中,所述存储空间中还包括存储中断地址,并且基于所述目标

  数据存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址

  的起始位置,若目标数据存储地址被确定作为所述存储中断地址的一个子地址,则基于所

  述目标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈

  希信息,并且相较于所述存储中断地址,先存储所述目标数据存储地址的哈希信息和所述

  目标数据;否则,则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确

  进一步地,在本发明中,在所步骤(S1)中,当接收到预设类型的操作请求时,查询

  所述操作请求对应的存储路由;根据所述存储路由将所述操作请求所指向的目标数据从当

  务部署信息生成的路由配置页面发送至所述服务器;所述路由配置页面展示有多个服务器

  标识及多种业务类型;将所述服务器基于所述路由配置页面返回的每种业务类型及服务器

  (1)本发明的存储方式中,在接收目标数据存储的操作请求后,预置的通用数据操

  Kaiyun(中国体育) 开云全站网页

  作接口建立对应的存储映射关系,并基于目标数据的键值信息确定存储空间中可用存储空

  间的起始位置及可用存储空间中数据块的大小,由此,按照存储映射关系,目标数据可以直

  接存储至对应的磁盘数据块中,整个过程只需要一次写入,减少了数据写入和读取的次数,

  使存储速度得到提高,并且由于不需要将数据缓存至内存中,因此可以减少内存开销。

  (2)本发明能够提升存储数据的更新速度,能够获得与存储服务器匹配的性能,并

  且对存储数据的任何修改都会反映到存储服务器中,并能通过存储中断地址及时中断不同

  本实施例作为本发明的一种基本实施方式,如图1、2所示,其公开了一种基于大数

  首先,接收目标数据存储的操作请求;当接收到预设类型的操作请求时,查询所述

  操作请求对应的存储路由;根据所述存储路由将所述操作请求所指向的目标数据从当前的

  体包括将所述通用数据操作接口地址作为存储地址的偏移地址,将所述通用数据操作接口

  地址所属数据操作接口作为第m存储接口,将从所述通用数据操作接口地址偏移地址至所

  述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段,所述m为不小

  于0的整数,所述n为不小于0的整数。判断所述第m片段的长度是否大于所述目标数据的长

  度。若是,建立所述目标数据存储至所述第m片段的映射关系,并建立所述目标数据存储至

  第k备份片段的映射关系,所述第k备份片段为所述可用存储空间中与所述第m片段的长度

  相同且位置不同的区域,所述k为不小于0的整数。若否,以所述目标数据的首个数据为起始

  位置,按数据排列顺序从所述目标数据中截取符合所述第m片段的长度的数据,作为第m截

  取部分数据,并建立所述第m截取部分数据存储至所述第m片段的映射关系,并建立所述第m

  间中数据块的大小;其中,所述目标数据的键值信息用于表征存储空间中确定存储地址的

  式是基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地

  址的哈希信息,并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确

  定。如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由,则基于所述

  目标数据存储地址的哈希信息,对在所述存储空间的与所述目标数据存储地址哈希相关的

  所述目标数据存储地址的哈希信息,对在所述存储空间的与所述目标数据存储地址哈希相

  存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址的起

  始位置,若目标数据存储地址被确定作为所述存储中断地址的一个子地址,则基于所述目

  标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈希信

  息,并且相较于所述存储中断地址,先存储所述目标数据存储地址的哈希信息和所述目标

  数据;否则,则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确定所

  述目标数据存储地址的哈希信息。最后将操作请求发送至目标数据的存储路由指向的数据

  中,整个过程只需要一次写入,减少了数据写入和读取的次数,使存储速度得到提高,并且

  本实施例作为本发明的一种基本实施方式,如图1、2所示,其公开了一种基于大数

  首先,接收目标数据存储的操作请求;当接收到预设类型的操作请求时,查询所述

  操作请求对应的存储路由;根据所述存储路由将所述操作请求所指向的目标数据从当前的

  在本实施例中,接收操作请求后,本实施例还通过基于服务器发送路由配置请求,

  获取多个服务器的服务部署信息;将根据所述服务部署信息生成的路由配置页面发送至所

  述服务器;所述路由配置页面展示有多个服务器标识及多种业务类型;将所述服务器基于

  所述路由配置页面返回的每种业务类型及服务器标识的关联关系作为存储路由进行存储。

  体包括将所述通用数据操作接口地址作为存储地址的偏移地址,将所述通用数据操作接口

  地址所属数据操作接口作为第m存储接口,将从所述通用数据操作接口地址偏移地址至所

  述通用数据操作接口的最后一个通用数据操作接口地址的区域作为第n片段,所述m为不小

  于0的整数,所述n为不小于0的整数。判断所述第m片段的长度是否大于所述目标数据的长

  度。若是,建立所述目标数据存储至所述第m片段的映射关系,并建立所述目标数据存储至

  第k备份片段的映射关系,所述第k备份片段为所述可用存储空间中与所述第m片段的长度

  相同且位置不同的区域,所述k为不小于0的整数。若否,以所述目标数据的首个数据为起始

  位置,按数据排列顺序从所述目标数据中截取符合所述第m片段的长度的数据,作为第m截

  取部分数据,并建立所述第m截取部分数据存储至所述第m片段的映射关系,并建立所述第m

  间中数据块的大小;其中,所述目标数据的键值信息用于表征存储空间中确定存储地址的

  式是基于存储地址的起始位置的哈希信息和所述数据块大小来确定所述目标数据存储地

  址的哈希信息,并且所述目标数据的存储路由基于所述目标数据存储地址哈希信息来确

  定。如果所述存储空间中存在与所述目标数据存储地址哈希相关的存储路由,则基于所述

  目标数据存储地址的哈希信息,对在所述存储空间的与所述目标数据存储地址哈希相关的

  所述目标数据存储地址的哈希信息,对在所述存储空间的与所述目标数据存储地址哈希相

  存储地址的哈希信息和所述存储中断地址的哈希信息来确定所述目标数据存储地址的起

  始位置,若目标数据存储地址被确定作为所述存储中断地址的一个子地址,则基于所述目

  标数据存储地址和所述存储中断地址的另一个子地址来确定所述存储中断地址的哈希信

  息,并且相较于所述存储中断地址,先存储所述目标数据存储地址的哈希信息和所述目标

  数据;否则,则基于所述存储中断地址和所述目标数据存储地址的另一个子地址来确定所

  述目标数据存储地址的哈希信息。最后将操作请求发送至目标数据的存储路由指向的数据

  中,整个过程只需要一次写入,减少了数据写入和读取的次数,使存储速度得到提高,并且

  由于不需要将数据缓存至内存中,因此可以减少内存开销。因此,与现有技术相比,本发明

  围,但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色,其所解决