gensim之使用稀疏矩阵相似度,判断输入的文字意图

2019/04/28 15:41
阅读数 186

对机器人语音输入指令的时候, 说,我想听'祖国祖国我们爱你', 必须说全才能播放, 如果说'祖国我爱你'就想播放音乐是不可能的,但是这两句话的意图是一样的,这里就要用到对文字意图的处理.

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = ["祖国祖国我们爱你", "你今年几岁了", "你有多高你胸多大", "你胸多大"] # 语料库
a = "祖国我爱你"

all_doc_list = []
for doc in l1:
    doc_list = list(jieba.cut_for_search(doc))
    all_doc_list.append(doc_list)

print(all_doc_list)
doc_test_list = list(jieba.cut_for_search(a))

# 制作语料库 # [['你', '的', '名字', '是', '什么'], ['你', '今年', '几岁', '了'],
# ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']]
# {"你":1,"的":2,"名字":3}
dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋
# {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5,
# '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}

# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看

print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))


corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# [14230 1675]
# "你,今年,多,大,了" 1,6,8,5
# [['你', '的', '名字', '是', '什么'], ['你', '今年', '几岁', '了'],
# ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']]
# 语料库:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了  1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))

# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list) # doc_test_vec "你,今年,多,大,了" 1,6,8,5
print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# corpus [14230,1675] 语料库 l1
# doc_test_vec 1685 用户问题 a


# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus) # 向量
# corpus = [[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)], [(1, 1), (5, 1), (6, 1), (7, 1)], [(1, 2), (8, 1), (9, 1), (10, 1), (11, 1)], [(1, 1), (10, 1)]]
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])


# 向量 :
# 位置表示  [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)] = 834473503
# [(1, 1), (5, 1), (6, 1)] = 987527163817476541
# 矩阵
# [(5,5),(6,6),(7,3),(5,6),(7,8),(4,4)]
# (7,7)
# 1,边长+-1  ==7 100  -+1 = -30 [40,40],[70,70],[100,-20],[40,70],[100,70],[10,10]
# 2,正方形 +-1 ==正 100 -+1 = -30 100,100,-20,70,70,100
# 3,边长小于 +-1 == 100 -+1 = -30 [70,70],[100,100],[0,40],[],[0,0]
# 4,加权求和 = 180,240,60,180,240,120



# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
# 0 1 0 1 1
# 0 0 1 1 1
# 0 1 0 1 1
# 0 0 1 1 1
# 0 1 0 1 1

index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))

# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)

text = l1[cc[0][0]]

print(a,text)

使用gensim模块,运用稀疏矩阵相似度算法,判断输入的指令和音乐名称的相似度

from settings import MONGODB

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = content_list = list(MONGODB.content.find({}))

all_doc_list = []
for doc in l1:
    doc_list = list(jieba.cut_for_search(doc.get("title")))
    all_doc_list.append(doc_list)
dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋
corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
lsi = models.LsiModel(corpus) # 向量
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))

def my_sim(a):
    doc_test_list = list(jieba.cut_for_search(a))
    doc_test_vec = dictionary.doc2bow(doc_test_list) # doc_test_vec "你,今年,多,大,了" 1,6,8,5
    sim = index[lsi[doc_test_vec]]
    cc = sorted(enumerate(sim), key=lambda item: -item[1])
    print(cc[0][1])
    if cc[0][1] >= 0.75:
        text = l1[cc[0][0]]
        return text

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部