Indexed by:
Abstract:
本发明公开一种面向Spark Streaming平台的数据接收通道动态分配方法,分配方法主要分为六个步骤:初始化、数据接收通道接收能力评估、基于马尔可夫链模型的流式数据到达速率变化状态预测、数据接收通道动态分配决策、数据接收通道组件回收与追增和回溯。本方法依据Spark Streaming应用的数据接收能力及流式数据到达速率的变化预测,为流式应用在线自动化地增加和减少数据通道的分配部署,确保数据处理的时效性以及提升通道组件资源和批处理引擎计算能力的利用率。
Keyword:
Reprint Author's Address:
Email:
Patent Info :
Type: 发明授权
Patent No.: CN201711247686.4
Filing Date: 2017-12-01
Publication Date: 2019-05-24
Pub. No.: CN108037998B
Applicants: 北京工业大学
Legal Status: 未缴年费
Cited Count:
SCOPUS Cited Count:
ESI Highly Cited Papers on the List: 0 Unfold All
WanFang Cited Count:
Chinese Cited Count:
30 Days PV: 6
Affiliated Colleges: