2.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s1包括以下步骤:
3.根据权利要求2所述的基于大模型的数据存储方法,其特征在于,步骤s14包括以下步骤:
4.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s2包括以下步骤:
5.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s23包括以下步骤:
6.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s232包括以下步骤:
7.根据权利要求6所述的基于大模型的数据存储方法,其特征在于,步骤s234包括以下步骤:
8.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s3包括以下步骤:
9.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s4包括以下步骤:
10.根据权利要求1所述的基于大模型的数据存储方法,其特征在于,步骤s5包括以下步骤:
本发明涉及数据存储管理技术领域,尤其涉及一种基于大模型的数据存储方法。所述方法包括以下步骤:对目标预训练大模型进行输入类簇分片优化,得到存储模量分片数据;利用存储模量分片数据构建智能分片存储策略;获取目标模型训练数据;利用智能分片存储策略对目标模型训练数据进行智能分片存储,并进行冗余压缩优化,得到动态冗余存储索引数据;根据动态冗余存储索引数据进行训练数据存储空间优化,得到优化数据存储策略。本发明通过对数据进行智能分片存储以及精细化数据冗余压缩,实现了高效、稳定的模型训练数据访问,解决了大模型训练过程中数据存储和访问效率低下的问题,显著提升了模型训练效率和推理实时性。