金融界 2024 年 9 月 10 日消息,天眼查知识产权信息显示,江苏道达智能科技有限公司申请一项名为“一种基于 Spark 的工业大数据分析方法“,公开号 CN4.5,申请日期为 2024 年 5 月。
专利摘要显示,本发明涉及大数据分析技术领域,公开了一种基于 Spark 的工业大数据分析方法,包括以下步骤:将工业大数据进行分布式存储;利用 Spark 系统的 RDD(弹性分布式数据集)技术,将分布式存储的工业大数据加载到内存中,进行工业大数据的 CPK 的并行处理和分析;数据处理和分析后,再次以分布式存储的方式存储回系统。本发明采用分布式存储的方式,在保证数据高可靠性和高可用性的基础上,通过利用 Spark 的并行计算和内存计算优势,实现了数据处理的速度和效率的显著提升。