一种基于分布式流计算的证券数据实时清洗方法及系统

著录项目

摘要

本发明涉及数据处理技术领域，尤其涉及基于分布式流计算的证券数据实时清洗方法及系统，根据邻接数据对目标需求数据的影响状态确定证券数据的计算类别，针对可直接计算类别，确定证券数据的若干流处理节点以进行分布式流计算，对单一流处理节点下的计算节点进行聚类，分析聚类后计算节点集群的数据叠加情况，划分证券数据单流处理节点的对齐状态，针对证券数据的正常对齐状态，确定各流处理节点的数据处理同一性，分析证券数据是否需要进行数据清洗，并针对证券数据的不可直接计算类别以及异常对齐状态，进行数据清洗。本发明通过分析证券数据计算前后的数据状态，直接确定数据的清洗需求，避免设置延迟时间，提高证券数据的实时性以及同步性。

附图

附图 1