テキストマイニングとは｜簡単解説

テキストマイニングの概要

デジタル化とインターネットの普及が社会のあらゆる場面に浸透し、多様な種類のデータが膨大な規模で生み出され、流通し、蓄積されています。

生み出されるデータはデータベースに格納される形式で作られる構造化データと、テキストや画像、音声、動画など自由な形式で表現される非構造化データに大きく分けられます。

構造化データはコンピュータで扱うことが容易であり、計算や統計処理を行うことでデータを有効に活用できます。それに対し、非構造化データは人間には理解しやすい反面、不正確・不完全・あいまい・重複など冗長性が大きく、コンピュータでは扱いにくいという側面を持っています。

非構造化データであるテキストをコンピュータに処理させる自然言語処理という技術を使い、人手では処理することができない膨大な量のテキストデータから、目的に応じた有益な情報を取り出すのがテキストマイニングです。

テキストマイニングの目的

テキストマイニングに先立って実用化が進められてきたのがデータマイニングです。ビッグデータから情報を抽出するという点で、テキストマイニングはデータマイニングの一分野にあたります。

データマイニングの主な解析対象は顧客データや在庫データ、注文履歴などの構造化データです。これらを分析することで顧客の購買行動を把握してリコメンドを提示したりすることなどが既に行われています。

非構造化データであるテキストには人間の考えや意思、動機などが直接的に反映されています。購買記録などの人間の行動の結果が数値で示された構造化データに対し、非構造化データのテキストを分析することで構造化データに示された結果に対する原因を明らかにすることができます。

自然言語処理（NLP：Natural Language Processing）とは

自然言語とは、コミュニケーションのために日常的に使われる自然発生的に成り立っている言葉のことです。あいまいさや解釈の自由度などコンピュータ処理に馴染みにくいという難点を解消するのが自然言語処理であり、以下の技術で構成されます。

形態素解析

形態素解析は、テキストデータから言語として意味を持つ最小単位に分割し、それぞれの品詞と変化を特定することを指します。

形態素解析は、①形態素に分割する、②形態素の品詞を特定する、③分割した形態素の原型を特定する、という3つの要素で成り立ちます。

構文解析

構文解析は分割した形態素の関係性を判断するプロセスで、文法構造を推測することです。

分割された各形態素が主語と述語、修飾語と被修飾語のどの役割を果たすのかを推測するプロセスです。

意味解析

構文解析を行った解析対象の文をどう解釈することが文が正しい意味になるかを判断するのが意味解析です。

書き手・話し手の意図をコンピュータに判断させるというプロセスであり、自然言語処理を実用的なものにするための重要な課題となる部分です。

文脈解析

文を単位として行う意味解析を文章全体に対して行うのが文脈解析です。代名詞や指示語が何を指しているのかを特定し省略された句を補完することなどから、文どうしの意味的なつながりや役割を推定することを行います。

意味解析と文脈解析は研究途上の技術であり実用的な段階には至っていないとされていますが、AI技術と組み合わされることで今後の発展が期待される技術分野です。

テキストマイニングの代表的な分析手法

テキストマイニングを使って行われる主な分析手法は以下の4つが挙げられます。

センチメント分析（ネガポジ分析）

センチメント分析はオピニオンマイニングやネガポジ分析などと呼ばれ、テキストの意味内容がポジティブ（賛成）・ネガティブ（反対）・ニュートラル（中立）のいずれを表しているのかを分類する手法です。

共起分析

単語の出現頻度と組み合わされて使われる単語をネットワーク状に可視化することで、多数のテキストのなかで言及されているトピックとその意味づけを推測するために用いられます。

コレスポンデンス分析（対応分析）

単語間の関係性に加えて他の変数の位置関係を散布図上に表すことで、変数と単語の関係性を可視化します。特定のグループと単語の関係を明らかにすることができます。

主成分分析

主成分分析はデータの要約を主眼に置いた分析手法で、出現頻度の高い単語をもとに文章全体の特徴をあらわすことを目的とします。テキストマイニングにおける主成分分析は単語間の相関関係を見出す方法やデータの意味的な構造を把握する方法などいくつかのアプローチがあります。

テキストマイニングの活用事例

テキストマイニングの対象は、EメールやSNSの投稿、ECサイトの商品レビューをはじめ、企業内に蓄積される営業日報や議事録、コールセンターの対応記録など、さまざまなテキストデータが対象となります。

既に幅広い分野に導入されているテキストマイニングの活用事例をご紹介します。

顧客の声（VOC）の有効活用

コールセンターの対応記録やECサイトの商品レビュー、顧客満足度調査の自由回答などは商品やサービスに対する顧客からの直接的な反応です。その内容は評価や苦情、要望など多岐にわたり、その量も膨大です。

それらのテキストデータは顧客ニーズの発見や顧客満足度の向上につながる貴重な情報ですが、大量のテキストのなかに埋もれてしまいがちです。テキストマイニングを使うことで顧客の声を可視化し、全体の傾向をつかみ新たな気付きを得ることが可能になります。

ソーシャルリスニング

ソーシャルリスニングはSNSやブログなどソーシャルメディアで発信される情報を収集・分析しビジネスに取り入れるマーケティング手法です。

商品やサービスに対する評判や口コミを分析することで、ブランドイメージや顧客の動向などを把握することに加え、風評被害につながるリスク要因を発見することにつながります。

広告やプロモーションなどに対する反応をリアルタイムに見ることができるのがソーシャルメディアの特徴です。時間をかけずに大量の発言を集約し可視化することができるテキストマイニングはソーシャルリスニングに適しています。

社内文書の有効活用

組織内では各種報告書や議事録、マニュアルなど大量の文書データが蓄積されています。これらの社内文書には業務知識やノウハウのほか、対策の必要な組織課題など広く共有されるべき事柄が気づかれないままになっていることが少なくありません。

テキストマイニングにを用いることで個人レベルや狭い範囲にとどまっているナレッジを形式知化することができ、また、組織が対処すべき問題を明らかにすることができます。

特許をはじめとする法律文書、論文などの動向把握

特許明細書や技術関連の論文をテキストマイニングを使って分析することで、さまざまな技術が対象とする課題と解決方法を定量化して技術動向を把握することにつながります。

法律関連の分野でもテキストマイニングを活用する試みが行われており、法律相談のテキストを分析し法律情報に関するニーズを明らかにしたり、条文を解析して権利義務を定量化したりする取り組みの例があります。

テキストマイニングのまとめ

テキストマイニングは人手を使って解析することが不可能な大量のテキストデータから、役に立つ情報を見つけ出すことができる実用性の高い技術であり、既にさまざまな分野で活用されています。

AIによる自然言語処理の技術開発も進んでおり、今後さらに実用化の範囲が広がっていくことが期待されています。