Indexed by:
Abstract:
一种面向Map/Reduce型海量数据处理平台的作业调度方法,属于海量数据处理领域,特别涉及Map/Reduce型海量数据处理平台中的作业调度和资源管理。本发明提出一种基于Reduce任务资源抢占的Map/Reduce作业调度方法,实现在Reduce任务处于空闲等待时,将其所占用的计算资源分配给Map任务使用。本发明主要包括:抢占资源、作业调度模块、应用管理模块、任务执行模块、节点管理模块、任务挂起与恢复方法、面向抢占资源的作业调度方法。本发明可以应用于数据中心的作业调度和资源管理,通过对于Map/Reduce作业中Reduce任务的抢占调度,实现数据中心计算资源的合理分配,提高计算资源利用率,同时缩短作业运行时间。
Keyword:
Reprint Author's Address:
Email:
Patent Info :
Type: 发明授权
Patent No.: CN201410531590.0
Filing Date: 2014-10-10
Publication Date: 2018-05-01
Pub. No.: CN104317650B
Applicants: 北京工业大学
Legal Status: 未缴年费
Cited Count:
WoS CC Cited Count: 0
SCOPUS Cited Count:
ESI Highly Cited Papers on the List: 0 Unfold All
WanFang Cited Count:
Chinese Cited Count:
30 Days PV: 6
Affiliated Colleges: