文本挖掘与情感极性分析
文本挖掘与情感极性分析
行知知行 发表于1年前
文本挖掘与情感极性分析
  • 发表于 1年前
  • 阅读 249
  • 收藏 4
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

一直对量化投资感兴趣,看到一篇关于《基于copula理论的金融风险相依结构模型及应用》感觉很有趣,准备动手写个类似的工具。一路摸索选择了以下工具:

爬虫 crawler4j,

新闻正文提取用了WebCollector-2.31.jar 的api 

分词摘要提取用了ansj_seg,

word2vec 相关度分析

lingpipe-4.1.0.jar 情感分析

数据存储选择了elasticsearch,neo4j

展现 echart 

"news": {

  • "properties": {
    • "summary": {//摘要
      • "type": "string"
      },
    • "id": {
      • "type": "long"
      },
    • "content": {//正文
      • "type": "string"
      },
    • "title": {//标题
      • "type": "string"
      },
    • "keywords": {//关键字
      • "type": "string"
      },
    • "feedurl": {//种子网站
      • "type": "string"
      },
    • "publishdate": {//发布时间
      • "format": "strict_date_optional_time||epoch_millis",
      • "type": "date"
      },
    • "url": {//新闻网址
      • "type": "string"
      }
    }

1、用tushare下载了所有股票代码和名称,在搜狗字典中下载了股票简称和股市情绪字典,常用的情绪字典,处理后加入ansj_seg的自定义用户字典

2、用爬虫在新浪财经上爬取了5万条新闻作为语料,word2vec训练,得到常用金融词汇的相关词

3、情感分析准备用两种方式实现:

一、训练lingpipe模型

二、情感字典的方式,每篇文章分词写入neo4j后,结合情感字典进行分析,然后判断正文所有句子的极性,摘要的极性,最后得出文本的极性

共有 人打赏支持
粉丝 2
博文 1
码字总数 341
×
行知知行
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: