Rubyで日本語解析API(+α)を使用して日本語の文書校正を効率化してみる

LINEで送る
Pocket

こんにちは。

ブログを書く際に、 自分の日本語が怪しい と思うことが多々あるため、日本語の文書の自動補正がほしいなと思いました。
思い立ったが吉日ということでYahooの日本語解析APIを使用して実装してみました。




目次

目次の前に前置きとして、日本語の解析に関する専門的な知識は一切登場しません。
解析する処理はすべてAPIに委ねているので、当記事ではあくまで使い方の話をしたいと思います。

  1. 完成物
  2. Yahooのアプリケーションを作成
  3. 実装する
  4. 表外漢字を常用漢字に変換する
  5. 使い方
  6. まとめ

完成物

Githubに公開しています。
ざっくり作ったものなのでPRや機能追加などお待ちしております。

Leko/jp-validate

Yahooのアプリケーションを作成

こちらからYahooのアプリケーションを作成してください。
APIを利用するためにYahooのアプリケーションIDが必要です。

アプリケーションを登録したら、.envYAHOO_APP_IDという名前でキーを登録しておきます。

の2APIに対して共通のキーとして使用できます。

実装する

実装に関してはリポジトリを御覧ください。
Goで作ろうと思ったのですが、ローカルの環境を整えるのが面倒だったのでちゃちゃっとRubyで済ませてしまいました。
CLIツール化についてはThorを使用しました。

表外漢字を常用漢字に変換する

まず表外漢字とは、ざっくり言うと「常用漢字でないもの」だそうです。

表外漢字字体表によって、印刷文字における印刷標準字体及び簡易慣用字体を定めたことは、表外漢字使用における字体の混乱を軽減し、常用漢字とともに表外漢字を使用していく場合の字体選択のよりどころとなるものである。
表外漢字字体表:文部科学省

Yahooの校正支援APIだけでは、表外漢字が含まれていた場合に指摘はしてくれますが、変換候補が出てきません。
サンプルの「遙か」は「●か」と変換されてしまいます。なんでやねん。

できれば「遙か」などの表外漢字は「遥か」と常用漢字に変換するこちらのようなWeb APIを探したのですが、見つかりませんでした。
APIは見つかりませんでしたが、代わりに素敵なgemが見つかりました。

Convert japanese from itaiji(異体字) to seijitai(正字体) and also reverse convert.
camelmasa/itaiji

今回の目的そのままなgemだったので、有りがたく使用させていただきました。

使い方

導入については同じくリポジトリの情報を御覧ください。

まとめ

公開されているAPIを組み合わせるだけで、簡単に自然言語解析を使用したツールを作れるもんだなぁと思いました。
APIを公開して頂いているYahooと依存ライブラリの作者さまに感謝感激雨あられです。

本格的に解析するなら形態素解析、係り受け解析やら助詞落ち補完(現状だと指摘はするものの補完はしていない)に伴う機械学習 etcetc…と色々と知識が必要ですが、ごく簡素な校正くらいならこんなもんかな、と思います。

ちなみにこの記事を書いて校正ツールに食わせてみた結果以下のようになりました。

これらを全部直されてしまうと記事内で意図的に書いている「遙か」まで置換されてしまいます。
今回の場合はサンプルに意図的に表外漢字や誤変換を使用しているため、そこの指摘が多いですね。

日本語の校正についてすべてを委ねることは難しそうですが、いちいち目grepしなくて良くなったので捗りそうです。
次回以降のブログの内容を食わせつつ、どう調整していくか検討してみます。




LINEで送る
Pocket