Despite the lack of photos in overseas restaurant menus, especially in high-end ones, OpenAI’s GPT-4V can assist in selecting dishes. Improvements in Japanese comprehension are anticipated.
相模原市で IoT 設計を受託しているファームロジックスです。
私は、最近は海外旅行の機会もめっきり減ってしまいましたが、それでも若い皆様は、いまでも海外旅行にいらっしゃることが多いのではないでしょうか。
海外、特に米国やヨーロッパでは物価の高騰もあり、レストランに入ると、その料理の値段の高さに驚かされることが多いようですが、それはさておき、日本人が海外のレストランで一番困るのは、多くのレストランで、メニューの説明が文字だけで説明されていることではないでしょうか。特に、ミシュランの星が付いたような高級レストランでは、写真付きのメニューなど、欧米ではまず見られないはず。（日本人向けの日本語メニューが用意されている店では、写真付きのメニューもあるかも知れませんが。）
そこで活躍しそうなのが、先日発表された OpenAI 社の GPT-4V（GPT-4 Vision）です!
米国テキサス州で、かつて訪れたタイ料理レストラン
以下の写真は、私がかつて米国テキサス州に出張していたとき、現地オフィスの同僚に教えて貰ったタイレストランで撮影したメニューです。（余談ですが、米国でおいしいレストランを教えて貰う際には、アジア系の方に尋ねると、割と外しません。日本人の嗜好にあったレストランを教えて貰えることが多いです。）
例に洩れず、このメニューにも写真がありません。さて、どうしましょう。以前から Google Translate（Google 翻訳）など、画像上のテキストを日本語に翻訳してくれるツールはありましたが、それでも自分の好みの料理を選ぶのは、なかなか大変なことです。
そこで GPT-4 Vision の出番です!
さっそく、ChatGPT アプリを立ち上げて画像を取り込み、メニューから料理を選ぶ手伝いをして貰いましょう。
私:
（写真を引用して）ここからランチを選びたいのですが、選択のアドバイスをお願いします。私に3つ質問をして結構です。
ChatGPT:
了解しました！ランチの選び方をお手伝いさせていただきます。以下、3つの質問をさせていただきます。
-
- スパイシーな料理はお好みですか？
- お肉の中で、鶏肉、牛肉、魚介類など、特に好みのものや避けたいものはありますか？
- カレー系の料理はお好きですか？
これらの回答に基づいて、おすすめのメニューをご提案いたします。
私:
-
- スパイシーな料理が好きです。
- 牛肉が好きです。
- カレー系は好きです。
ChatGPT:
ありがとうございます。回答に基づき、以下のおすすめのランチメニューをご提案いたします。
L6. CASHEW CHICKEN DELIGHT
鶏肉を使用した料理で、スパイシーな料理としてマークされています。カシューナッツが入っていて、さらに味のアクセントとしています。
L10. RED CURRY
赤カレーは一般的に辛口のカレーとして知られており、このメニューもスパイシーとしてマークされています。この料理には鶏肉が使用されていますが、牛肉好きの方にも十分に楽しんでいただけると思います。
L15. CHICKEN PEANUT SAUCE
鶏肉とピーナッツソースを組み合わせた料理で、スパイシーとしてマークされていませんが、ピーナッツソースの濃厚な味わいを楽しむことができます。
これらの中からお好きなものを選んでいただければと思います。お食事を楽しんでください！
いかがでしょうか? 牛肉料理は選んでくれませんでしたが、なかなか役に立ちそうですね!
念のため、牛肉料理について、もう一度聞いてみましょう。（私がぱっとメニューを探したところ、すぐには見つからなかったので。）
私:
ちなみに、牛肉を使用した料理はメニューにありますか?
ChatGPT:
メニューを確認したところ、牛肉を使用した料理の明確な記載は見受けられませんでした。ただし、「GARLIC AND PEPPER」の説明文に「Sautéed chicken or beef with fresh garlic & black pepper, mushroom on bed of fresh cabbage.」とありますので、こちらの料理はチキンまたは牛肉を選ぶことができるようです。したがって、牛肉を使用した料理として「GARLIC AND PEPPER」を選ぶことができます。
素晴らしすぎます。私は見落としていました…。
ミシュランの星付きレストランで、メニューに向けてスマホのカメラを向ける勇気さえあれば、もう、英語やフランス語の「文字だけ羅列メニュー」は怖くない、、、ですよね!
日本語の読解がもっと強くなってくれたら、訪日外国人も喜びそう…
ちなみに言うと、画像の中から日本語を解釈する能力は、まだまだのようです（2023年10月現在）。もっと、日本語に強くなってくれたら、訪日外国人の方にも役に立つようになることでしょう。