LDA主题分析代码实现
博客专区 > WYF_DATA 的博客 > 博客详情
LDA主题分析代码实现
WYF_DATA 发表于6个月前
LDA主题分析代码实现
  • 发表于 6个月前
  • 阅读 23
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

主题文本分析:

 

首先读取txt文本,并删除stop_list中存放的停止词汇

f = open('..\\LDA_test.txt')

texts = [[word for word in line.strip().lower().split() if word not in stop_list] for line in f]

print('Text = ')

pprint(texts)  #输出格式处理好的文本内容

 

然后计算生成文本内容的词典

dictionary = corpora.Dictionary(texts)

print('corpora.Dictionary:')

print(dictionary)

 

然后将每个文档或者文档中的每个句子(一行)向量化

corpus = [dictionary.doc2bow(text) for text in texts]

print('corpus')

print(corpus)

 

然后计算词频

corpus_tfidf = models.TfidfModel(corpus)[corpus]

print('corpus_tfidf:')

print(corpus_tfidf)

 

然后可以条用LSI模型做文本分析

lsi = models.LsiModel(corpus_tfidf, num_topics=2, id2word=dictionary)

topic_result = [a for a in lsi[corpus_tfidf]]

pprint(topic_result) #输出每个文档或者每行句子的主题

 

或者输出每个主题的词汇构成

print('LSI Topics:')

pprint(lsi.print_topics(num_topics=2, num_words=5))

计算文档两两之间的相似度

similarity = similarities.MatrixSimilarity(lsi[corpus_tfidf])   # similarities.Similarity()

print('Similarity:')

pprint(list(similarity))

 

 

 

也可以用LDA模型来做主题分析

num_topics = 2

lda = models.LdaModel(corpus_tfidf, num_topics=num_topics, id2word=dictionary,

                          alpha='auto', eta='auto', minimum_probability=0.001, passes=10)

输出每个文档的主题分布:
doc_topic = [doc_t for doc_t in lda[corpus_tfidf]]

print('Document-Topic:\n')

pprint(doc_topic)

或者:

for doc_topic in lda.get_document_topics(corpus_tfidf):

print(doc_topic)

 

然后输出每个主题的词分布:

for topic_id in range(num_topics):

   print('Topic', topic_id)

   # pprint(lda.get_topic_terms(topicid=topic_id))

   pprint(lda.show_topic(topic_id))

 

计算文档之间的相似度

similarity = similarities.MatrixSimilarity(lda[corpus_tfidf])

print('Similarity:')

pprint(list(similarity))

 

 

基于lda第三方库实现的主题分析

需要先安装这个第三方库lda( pip install lda)

首先要把每个文档的格式转换为向量来表示

所以多个文档就形成了一个矩阵,维度为k*n,k为每个文档向量的长度,n为文档个数

例如:矩阵中的每个元素可以用tf—idf词频来表示

 

利用LDA模型进行建模

topic_num = 20

model = lda.LDA(n_topics=topic_num, n_iter=800, random_state=1)

model.fit(X)

 

输出各个主题的词分布

topic_word = model.topic_word_

print(("type(topic_word): {}".format(type(topic_word))))

print(("shape: {}".format(topic_word.shape)))

 

print((topic_word[:, :5]))  #由于词分布太长了,所以只用输出部分

 

可以输出每个主题topK个词汇:
n = 7

for i, topic_dist in enumerate(topic_word):

    topic_words = np.array(vocab)[np.argsort(topic_dist)][:-(n + 1):-1]

print(('*Topic {}\n- {}'.format(i, ' '.join(topic_words))))

 

其中vocab为所有文档的词汇元组,就是对应词向量的词汇元组

长度等于每个文档词向量的长度

 

最终输出我们想要知道的每个文档对应的最有可能的主题:

doc_topic = model.doc_topic_

print(("type(doc_topic): {}".format(type(doc_topic))))

print(("shape: {}".format(doc_topic.shape)))

for i in range(10):

    topic_most_pr = doc_topic[i].argmax()

print(("文档: {} 主题: {} value: {}".format(i, topic_most_pr, doc_topic[i][topic_most_pr])))

 

 

最后是可视化:
mpl.rcParams['font.sans-serif'] = ['SimHei']

    mpl.rcParams['axes.unicode_minus'] = False

 

    # Topic - word

    plt.figure(figsize=(7, 6))

    # f, ax = plt.subplots(5, 1, sharex=True)

    for i, k in enumerate([0, 5, 9, 14, 19]):

        ax = plt.subplot(5, 1, i+1)

        ax.plot(topic_word[k, :], 'r-')

        ax.set_xlim(-50, 4350)   # [0,4258]

        ax.set_ylim(0, 0.08)

        ax.set_ylabel("概率")

        ax.set_title("主题 {}".format(k))

    plt.xlabel("词", fontsize=13)

    plt.tight_layout()

    plt.suptitle('主题的词分布', fontsize=15)

    plt.subplots_adjust(top=0.9)

    plt.show()

 

    # Document - Topic

    plt.figure(figsize=(7, 6))

    # f, ax= plt.subplots(5, 1, figsize=(8, 6), sharex=True)

    for i, k in enumerate([1, 3, 4, 8, 9]):

        ax = plt.subplot(5, 1, i+1)

        ax.stem(doc_topic[k, :], linefmt='g-', markerfmt='ro')

        ax.set_xlim(-1, topic_num+1)

        ax.set_ylim(0, 1)

        ax.set_ylabel("概率")

        ax.set_title("文档 {}".format(k))

    plt.xlabel("主题", fontsize=13)

    plt.suptitle('文档的主题分布', fontsize=15)

    plt.tight_layout()

    plt.subplots_adjust(top=0.9)

    plt.show()

共有 人打赏支持
粉丝 1
博文 4
码字总数 5290
×
WYF_DATA
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: