• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
搜索

Author:

梁毅 (梁毅.) | 程石帆 (程石帆.) | 常仕禄 (常仕禄.) | 刘飞 (刘飞.)

Indexed by:

incoPat zhihuiya

Abstract:

本发明公开了一种面向交互式Spark应用的数据动态放置方法,该方法分为五个步骤:初始化、缓存RDD分区价值评估、缓存RDD分区的保留选取、缓存RDD分区数据的重放置和结束。本发明针对Spark交互式应用在动态资源分配的背景下,RDD数据无法可靠放置的不足,在相邻交互请求间存在较长时间间隔时,依据任务执行器中缓存RDD分区的价值以及数据迁移的代价,利用粒子群算法进行缓存RDD分区数据的重放置,从而达到充分利用任务执行器的内存空间且提高交互式请求执行效率的目的。

Keyword:

Reprint Author's Address:

Email:

Show more details

Related Keywords:

Related Article:

Patent Info :

Type: 发明授权

Patent No.: CN201810455119.6

Filing Date: 2018-05-14

Publication Date: 2022-02-15

Pub. No.: CN108614738B

Applicants: 北京工业大学

Legal Status: 授权

Cited Count:

WoS CC Cited Count: 0

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count:

Chinese Cited Count:

30 Days PV: 9

Affiliated Colleges:

Online/Total:846/10680265
Address:BJUT Library(100 Pingleyuan,Chaoyang District,Beijing 100124, China Post Code:100124) Contact Us:010-67392185
Copyright:BJUT Library Technical Support:Beijing Aegean Software Co., Ltd.