B3S
menu close

Python

Pythonで日本語文章から形態素・感情分析


はち

更新日:2021/10/29


経緯

・文章の形態素解析に興味があった

・窓口系のシステムに活用できないかを模索していた

・当社のシステムにAI的な技術を活用していきたい

・在宅勤務、リモートワークシーンが増えて文章でのやり取りが増えた

 

今回使うもの

・Python3

・Transformers+PyTorch
 「最先端の自然言語処理」 BERT(自然言語処理の機械学習手法)を使うためのもの

・fugashi
 Mecab(形態素解析モデル)のラッパー、非常に便利

・IPADic
 辞書ファイル。これがないと形態素解析が出来ない。

サンプルコード

from transformers import pipeline 
from transformers import AutoModelForSequenceClassification 
from transformers import BertJapaneseTokenizer 
from fugashi import Tagger 
tagger = Tagger('-Owakati') 

TARGET_TEXT = "今日はいい天気ですね。"
  
model = AutoModelForSequenceClassification.from_pretrained('daigo/bert-base-japanese-sentiment') 
tokenizer = BertJapaneseTokenizer.from_pretrained('cl-tohoku/bert-base-japanese-whole-word-masking') 
nlp = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer) 
   
print(nlp(TARGET_TEXT))

tagger.parse(TARGET_TEXT) 
for word in tagger(TARGET_TEXT): 
    print(word, word.feature.lemma, word.pos, sep='\t')

動作イメージ

入力された文章が ポジティブ/ネガディブ で判定される
それぞれの判定に対してスコアが出る。1がMAXで0.5だと中間くらい。

PHPで発火させる

execコマンドを使って発火させる以外の選択があれば模索したいです。

社内システムでの活用、連携を考察

・問い合わせ内容の頻出ワードを明示化してコンテンツ作りに流用(形態素解析)

・お問合せフォームの入力内容を解析してネガ度を測定(感情分析)