Explore ChatGPT’s understanding of Japanese, test its translations, and try a classic linguistic problem.
相模原市で IoT 設計を受託しているファームロジックスです。
ChatGPT と会話をしていると、日本語の理解能力はかなり高いのではないかと感じてきます。さらに、英語の文章を日本語訳させてみると、かなり質の高い日本語を提示されるので、日本語の解釈もかなり正確なのではないか、と感じるようになります。
そうなると、「もう英語の知識なんて必要ないんじゃない? 外注して作っている英語のユーザーマニュアルも、ChatGPT で完結するんじゃない?」と思われる方も増えてくるのではないかと思われます。
実際のところ、どうなのでしょう。GPT-4 の日本語理解力は万全なのでしょうか? 試してみましょう。今回も GPT-4 を利用します。（評価は、2023年8月13日です。）
私のブログ記事を小学生向けに書き直して貰う
文法が整然とした日本語ではつまりませんので、私がかつて書き散らした記事を題材にしてみましょう。以下のようなものです。
11, 12日の両日、相模原市民若葉まつりが開催されました。組合も小さなブースを構えるということで、僭越ながら少しだけお手伝いさせて頂きました。もとい、最近引き籠もり気味の横山にお声がけを頂き、IT に興味をお持ちのお子さんに頑張って説明をさせて頂きました!（大汗）
出展では、組合員のお一人 T さんが中心となって鋭意企画した、Raspberry Pi（ラズベリーパイ）とブレッドボードを使ったお子様向けの組込プログラミング勉強会が好評でした。T さんが両日、昼飯も食べずに一人で孤軍奮闘なさっていたところに、「横山。お前さん、ラズパイも電子回路も分かるやんけ。手伝ってやれよ」と諸先輩の励ましを頂戴して、にわか講師としてお手伝いさせて頂いた次第です。
ChatGPT にお願いします。
私:
以下の文章を、日本人の小学校4年生が読めるように、難しい漢字は平仮名に、難しい単語は平易に、書き下してください。
回答です。
ChatGPT:
もちろん、以下の文章は小学生の読みやすさを考慮して平易な表現に書き直しています。
11日、12日のふたつのひ、さがみはらしんみんわかばまつりがありました。さがみはらITきょうどうくみあいもちいさなブースを作るということで、ちょっとだけてつだいさせてもらいました。もとい、さいきんうちでばかりいるよこやまさんにおねがいをうけて、ITにきょうみをもつこどもたちにがんばってせつめいさせてもらいました！（たいあせ）
でじんでは、くみあいいんのおひとりTさんがちゅうしんとなって、いしいきかくした、ラズベリーパイ（ラズべりーパイ）とブレッドボードをつかったこどもむけのくみこみプログラミングべんきょうかいがうけてよかったです。Tさんがふたつのひ、ひるごはんもたべずにひとりでがんばっていたところに、「よこやま、おまえさん、ラズパイもでんしきかいろもわかるよね。てつだってあげてよ」とたくさんのせんぱいのはげましをもらって、いきなりせんせいとしててつだいさせてもらいました。
ここから、2つのことが分かりました。
- 私の文章が曖昧であるせいでしょうが、文章の論理が正しく解釈されていない部分が多いようです。また、「でじんでは」とか「いしいきかくした」とは、一体、原文の単語をどのように解釈したのでしょうか? 悩みます。
- これはやむを得ないところですが、GPT-4 は、日本の教育漢字の学年次の修得範囲に関する理解を持っていないようです。
日本語文章のひらがな化に特有の問題なのか?
ここまで試してみて、これは ChatGPT の「ひらがな化」特有の問題なのか、あるいは、日本語（特に文法が不明確なもの）の解釈力の問題なのか、という疑問が湧いてきました。そこで、上記の文章を今度は英訳させてみることにしました。
私:
以下の文章を、英語訳してください。
（略）
ChatGPT:
Certainly! Here’s the English translation for the text:
On both the 11th and 12th, the Sagamihara Citizens’ Wakaba Festival was held. Sagamihara IT Cooperative also set up a small booth, and I humbly assisted them a little. In fact, I was asked by Yokoyama, who has been somewhat reclusive lately, to energetically explain to children interested in IT, which I did with great effort! (Sweating profusely)
At the exhibition, one of the cooperative members, Mr. T, who was the key planner, received praise for the children’s embedded programming workshop using Raspberry Pi and a breadboard. Mr. T was working hard alone both days without even eating lunch. When he was in the midst of this struggle, the seniors encouraged him by saying, “Yokoyama, you understand Raspberry Pi and electronic circuits, right? Help out.” And so, I assisted as an impromptu instructor.
ネイティブでない私の目で見ても、明らかにおかしな英訳が見つかります。
- … I was asked by Yokoyama, who has been somewhat reclusive lately,
しかし、これは原文をよく読むと、私の日本語がおかしい（曖昧で誤解をまねく）のが原因だと分かります。
また、
- … the seniors encouraged him by saying,
という部分は、解釈が間違っています。encourage されたのは T さんではなく、私です…。文章を訳させる前に、私の名前、組合や T さんとはどういう関係か、という事前情報を与えておけば、結果は違ったかも知れません。
しかし一方で、最初の「小学生に分かるように」という依頼では「出展」や「鋭意」という日本語を正しく理解していないように見えますが、後の「英訳」では、正しく理解されているように見えます。大規模言語モデル（LLM）というのは、やはり、問題を論理的に解釈しているというより、言語モデルの中で文章を生成しているだけなのか、という気もしてきます。
結論と教訓
今回の結論と教訓です。
- ChatGPT の英語訳をそのまま信用してはいけない。自分できちんと読んでチェックしよう。（あるいは英語に強い方、ネイティブスピーカーにチェックして貰おう。）
- 誤訳があった場合には、ChatGPT を安易に批判するのでなく、自分の文章をもう一度読み直してみよう。自分で書いた文章の質が悪いのではないか? 文章が曖昧なのではないか? 誤解をまねく表現なのではないか?
- 日本の子供に理解しやすいような、仮名交じりの文章の生成は苦手かも知れない。（大規模言語モデルとして、子供向けの情報をネット上で十分に取得できていない可能性もあります。）
おまけ（きしゃのきしゃが…）
昔、1980年代でしょうか、ワープロソフトの漢字変換の性能が良くなって来た頃、私の悪友たちの間で、ワープロを使って「きしゃのきしゃがきしゃできしゃした」という文章を一括変換させ、その結果を楽しむ、批評する、という遊びが流行っていました。
意味がもっとも通り、期待される変換結果は「貴社の記者が汽車で帰社した」だと思います。（他にもありますか?）
これを、いたずらで ChatGPT に漢字変換させてみました。
私:
以下の平仮名を、カタカナと漢字交じりに変換してください。
- きしゃのきしゃがきしゃできしゃした。
- きょうははんばーぐをつくろうとおもったが、あめがふっていたのですーぱーにはいかず、そーめんと、れいぞうこのなすでゆうはんをすませた。
ChatGPT:
もちろんです、以下のように変換いたします。
- 機車の機車が汽車で帰車した。
- 今日はハンバーグを作ろうと思ったが、雨が降っていたのでスーパーには行かず、そうめんと、冷蔵庫のなすで夕飯を済ませた。
後者のほうは立派ですが、往年のテーマ（?）「きしゃのきしゃが…」は、期待通りの結果にはなりませんでした。
後者と違って、前者は文脈における補助的な情報がないので、やむを得ないところかも知れません。あるいは、後者（ハンバーグ）は LLM の中に似たような文章が学習されているが、前者（貴社の記者）はそうでない、という理由もありそうです。
皆さんも、いろいろ遊んで（実験して）みてください。
今回も、セッション全体へのリンクを張らせて頂きます。
今後も、オープンソースと AI を活用し、中小企業の経営者様やソフトウェア技術者様を、ファームロジックスがサポートさせて頂きたいと考えております。
お問い合わせはお気軽に!