AIを学ぶ

自然言語処理のステップ②:「形態素解析」とは?

投稿日:

形態素解析って何?

形態素解析(けいたいそかいせき)とは、形態素に品詞付けを行う作業です。

機械学習の現場では、自然言語処理を実行するときの第二のステップとして、分かち書きの次に形態素解析を行います。

(ただし、場合によっては、分かち書きと品詞付けを合わせて形態素解析と呼ぶ場合もあります)

自然言語処理というのは、人間の言語である「自然言語」をコンピュータで分析するための処理のことです。

漢字にするといかめしいですが、今ここで読んでいる「この文字」や「あの文字」も、"Thank you!"も全て、自然言語です。

👉参考記事:『自然言語処理(NLP)とは何か? 自然言語とプログラミング言語の違いを知ろう!

 

自然言語は、コンピュータの言語である機械語や、その翻訳用言語であるプログラミング言語とは、言葉のルールや構成が大きく違います。

そのため、そのまま自然言語データをを分析しようとしても、コンピュータがうまく処理してくれません。

 

そこで登場するのが、機械学習の一分野である「自然言語処理」です。

自然言語処理の実行は5つのステップに分かれ、「形態素解析」は、その第二ステップに位置付けられます。

👉参考記事:『自然言語処理の5つの実行ステップとは?「曖昧さ」への対応策としての機械学習』

 

形態素への品詞付けって?

形態素とは?

まず、形態素とは、それだけで意味をもつ、これ以上分割できない最小の語の単位」のことで、自然言語の文を「分かち書き(小さい語のまとまりに分けて書くこと)」することで得られます。

 

例えば、「わたし」「あなた」「星空」「キレイ」「の」「に」といった語は、これ以上分割すると意味をなさなくなるので、形態素と言えます。

試しに、「わたし」を「わた」と「し」に分割すると、意味が通りません(もちろん「綿」と「市」と読めなくもないですが、もともとの意味から変わってしまいます)。

 

あえて例えるなら、化学でいうところの原子、数学で言うところの素因数、といったところでしょうか。

私たちが普段使っている言語は、この形態素がたくさん集まってできたものです。

 

品詞付けとは?

最小単位の語である形態素の「品詞」を見分けることを「品詞付け」と言います。

品詞とは、「単語を文法的な機能や形態などによって分類したもの(Wikipedia)」のことで、概ね下記のように分類されます。

単独で文節を形成できるか 活用するか否か 品詞(大) 品詞(小)
できる(自立語) 活用する 動詞 - 走る、歩く
形容詞 - 美しい、明るい
形容動詞 - 静かだ、親切だ
活用しない 名詞 代名詞 あれ、それ
数詞 三つ、第8
連対詞 - 君の名、大した男
副詞 - すっかり、ゆっくり
接続詞 - しかし、だから
感動詞 - ああ、おや
できない(付属語) 活用する 助動詞 - られる、らしい
活用しない 助詞 - を、に、の

 

わかりやすく言えば、品詞付けとは、「ある語が文の中でどんな役割をもっているか?」を明らかにすることです。

形態素解析という言葉の「解析」というのは、品詞付けを行うことで「言葉の役割を丸裸にしちゃおう!」という意味で使われています。

 

形態素解析の具体的なやり方

では、具体的な例をみてみましょう。

自然言語処理のタスクとして、下記の文が与えられたとします。

「眩しい光と発見に感動を覚えた」

この自然言語文を処理するために、機械学習ではまず、次のように分かち書きを行います。

 

眩しい / 光 / と / 発見 / に / 感動 / を / 覚え / た

次に、分かち書きによって得られた形態素に対して品詞付けを行います。

 

  • 眩しい:形容詞(※)
  • 光:名詞
  • と:助詞
  • 発見:名詞
  • に:助詞
  • 感動:名詞
  • を:助詞
  • 覚え:動詞
  • た:助動詞

(※)「眩しい」の「い」は、意味や文法上の機能をなさないけれども、一つの形態素として成立するとする見方もあります。

このように、形態素解析は、分かち書きによって得られた形態素に品詞付けを行うことで、各語の文中における役割を明らかにする作業です。

 

おすすめ記事

1

目次1 はじめに2 過学習の定義3 モデルをつくる:「訓練データ」「未知データ」とは?4 モデルを検証してみる:「汎化性能」とは?5 過学習(過剰適合)とは何か?6 なぜ過学習が起こるのか?原因はなに ...

2

AILearn 編集部 目次1 サマリ:要はこういう話2 はじめに3 サウジアラビアで人工知能・ロボット初の市民権を獲得4 CNBCのインタビューでは、人類滅亡を匂わせる発言5 「人類滅亡」から3ヶ月 ...

3

AILearn 編集部 目次1 本文2 今回のご相談3 今回のテーマ4 「男を見る目」とは何か?4.1 ◆男を見る目がない女性の特徴4.2 ◆男を見る目を養う方法5 「男を見る目」=「イイ男を判別する ...

4

目次 1 自然言語処理とは? 2 自然言語処理とは何か? 2.1 自然言語処理の定義と役割 2.2 自然言語とプログラミング言語の違い 2.3 自然言語の曖昧さ 2.4 自然言語の曖昧さへの対応 3 ...

-AIを学ぶ

Copyright© 人工知能/AIならAILearn(あいらーん) , 2020 All Rights Reserved Powered by AFFINGER5.