构建算法模型_模型与算法有什么不同

构建算法模型_模型与算法有什么不同文章目录1.情感词典内容2.情感倾向点互信息算法(SO-PMI)算法点互信息算法PMI情感倾向点互信息算法SO-PMI3.构建情感词典1.导入项目2.构建情感种子词3.使用TF-IDF方便构建情感种子词4.构建专业词典的效果与使用方法5.其他说明1.情感词典内容情感词典构建方法归为三类,分别是:词关系扩展法、迭代路径法和释义扩展法情感极性:正向、负向;表示正面情感(开心愉快)或负面情感(伤心愤怒)情感极值:情感倾向(微笑、开怀大笑、手舞足蹈虽然都可以表示开心,但有不一样的

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

1. 情感词典内容

  1. 情感词典构建方法归为三类, 分别是: 词关系扩展法、迭代路径法和释义扩展法
  2. 情感极性:正向、负向;表示正面情感(开心愉快)或负面情感(伤心愤怒)
  3. 情感极值:情感倾向(微笑、开怀大笑、手舞足蹈虽然都可以表示开心,但有不一样的极值,表示情绪的表现程度)

已有的情感词典请参考:
在这里插入图片描述

2. 情感倾向点互信息算法(SO-PMI)算法

这个算法比较直白:包含两个部分,一个是PMI,一个是SO-PMI

点互信息算法 PMI

在这里插入图片描述
w o r d 1 word1 word1 w o r d 2 word2 word2 表示两个不同的词, P w o r d 1 P_{word1} Pword1 表示在整个语料库中 w o r d 1 word1 word1 出现的概率,一般认为:

1. PMI > 0 表示两个词语是相关的,值越大,相关性越强
2. PMI = 0 表示两个词语是统计独立的
3. PMI < 0 表示两个词语是不相关的,互斥的

PMI算法用一句话形容就是:两个词同时出现的概率越大,其相关性越大

情感倾向点互信息算法 SO-PMI

在这里插入图片描述
P w o r d P_{word} Pword 指一个基准词, P w P_{w} Pw指基准词列表, w o r d word word 指随便一个词;

SO-PMI的基本思想是:有两个情感倾向的列表,一个是正向的情感词,一个是负向的情感倾向。计算每个词与这两个列表中的每个词的PMI,看这个词更接近哪个列表,是更接近正向情感词列表还是负向情感词列表。即:

SO-PMI值> 0,表示这个词更接近正向,即褒义词
SO-PMI值 = 0,表示这个词为中性词
SO-PMI值 < 0,表示这个词更像是负面词,即贬义词

一句话形容这个算法:判断一个词更倾向于与积极词一起出现,还是与消极词一起出现。

3. 构建情感词典

参考Github项目:https://github.com/liuhuanyong/SentimentWordExpansion

1. 导入项目

在python环境中安装依赖:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ jieba

然后使用git导入项目:

git clone git@github.com:liuhuanyong/SentimentWordExpansion.git

导入项目后直接运行SOPMI.py文件就可以运行案例了。构建自己的情感词典,需要替换data/文件夹下的train.txt语料库与sentiment_words.txt情感种子词,或是修改SOPMI.py文件中的构造函数:

    def __init__(self):
        self.train_path = './data/train.txt' # 需要提供的训练数据语料库
        self.sentiment_path = './data/sentiment_words.txt' # 需要提供的情感种子词列表
        
        self.candipos_path = './data/candi_pos.txt' # 输出的正向词列表
        self.candineg_path = './data/candi_neg.txt' # 输出的负向词列表

2. 构建情感种子词

在SO-PMI算法中提供基准词 P w o r d P_{word} Pword 的词称为情感种子词,需要自定义,种子词的构建直接决定了最后的效果。

从预料中选择一些主观上明显感觉这个词有强烈的情感倾向的词,然后按照种子词的格式罗列下来就行。种子词的列表格式是一个词\t情感倾向\n,其中情感倾向有pos正向/积极 与 neg负向/消极,例:

解决	pos
尊敬	pos
问题	neg
严重	neg
投诉	neg
噪音	neg

博主这里提供一个构建情感种子词的工具类,方便将看着像这种格式,但是并没有用\t切分的文件转换成能直接输入的格式:

file = open('my_sentiment_words.txt', 'a')
for line in open('data/sentiment_words.txt'):
    line_list = line.strip().split(' ') # 词与情感倾向之间用空格切分,没有用\t切分
    file.write(line_list[0] + '\t' + line_list[1] + '\n')
file.flush()
file.close()

3. 使用TF-IDF方便构建情感种子词

自己去从海量的文本中找有明显情感倾向的词这也太硬核了!所以借助TF-IDF构建会方便很多。TF-IDF的算法这里就不展开了,直接上代码:

import jieba  # 分词器
import jieba.analyse
import pandas as pd


def tfidf_ana(content):
    title_keys = jieba.analyse.extract_tags(content, topK=700, withWeight=False)  # topK为期望得到的关键词个数
    with open('tf_idf_words.txt', 'a') as file:
        for i in title_keys:
            file.write(i + '\n')
        file.flush()
        file.close()


if __name__ == '__main__':
    answer_df = pd.read_csv('../coment_answer.csv')
    answer_list = answer_df['content'].to_list()
    answer_str = ''
    for k in answer_list:
        answer_str += str(k)
    data = tfidf_ana(answer_str)

tf_idf_words.txt这个文件中会借助TF-IDF输出700个词,从700个词中挑选情感种子词总比从语料库中找方便吧。输出格式:

拆迁
需求
附近
纠纷
受理
催促

4. 构建专业词典的效果与使用方法

以输出的candi_pos.txt为例,这些内容包括词语,pmi值,情感极性,词的长度,词性,使用情感词典时可以把所有词的权重定为1,也可以使用pmi值作为权重,来判断一句话的整体情感。

简单化,102.5088270306492,pos,3,v
不辞辛苦,99.88645456051404,pos,4,i
心怀,99.65437740515684,pos,2,n
祝愿,84.25764401332869,pos,2,v
人民大众,83.15324812078094,pos,4,nt
适时,82.92507246585465,pos,2,ad
欣喜,81.43696536070502,pos,2,a
密切,78.28173699693579,pos,2,ad
辛勤工作,77.90533206036869,pos,4,n

5. 其他说明

按照如上所述,替换掉案例中data/文件夹下的train.txt语料库与sentiment_words.txt情感种子词后,运行SOPMI.py即可得到预期效果。如果有报错请检查情感种子词格式每一行是否中间是用\t切分,结尾是否用\n换行。

在这个项目中collect_cowords函数中有一个参数词共现窗口window_size,可自行指定

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/172414.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号