• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
搜索

Author:

张钊 (张钊.) | 张新峰 (张新峰.) | 贵明俊 (贵明俊.) | 郑楠 (郑楠.)

Abstract:

  目的随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题。方法本文提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。结果通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。结论基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。

Keyword:

LDA 平台 并行化 单机 提升算法 分布式计算框架 主题模型 建立方法

Author Community:

  • [ 1 ] [张钊]北京工业大学电子信息与控制工程学院
  • [ 2 ] [张新峰]北京工业大学电子信息与控制工程学院
  • [ 3 ] [贵明俊]北京工业大学电子信息与控制工程学院
  • [ 4 ] [郑楠]北京工业大学电子信息与控制工程学院

Reprint Author's Address:

Email:

Show more details

Related Keywords:

Source :

Year: 2015

Page: 84-84

Language: Chinese

Cited Count:

WoS CC Cited Count: 0

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count: -1

Chinese Cited Count:

30 Days PV: 9

Online/Total:316/10563624
Address:BJUT Library(100 Pingleyuan,Chaoyang District,Beijing 100124, China Post Code:100124) Contact Us:010-67392185
Copyright:BJUT Library Technical Support:Beijing Aegean Software Co., Ltd.