What is HuggingChat? A free tool for exploring diverse LLMs, offering text variety and enhanced capabilities. See how multiple models generate ads for a Christmas-themed restaurant.
相模原市で IoT 設計を受託しているファームロジックスです。
加筆（11月20日）: Mistral AI 社が、同社の Le Chat で Pixtral Large モデルをリリースしたということですので、早速テストの上、加筆しました。
皆様は既に、OpenAI 社の ChatGPT を日頃の業務に活用なさっていることと思います。ChatGPT は非常に優れたサービスですが、当然ながら、OpenAI 社が開発した大規模言語モデル（LLM）しか使用できません。GPT-4o や o1-preview といったモデルは、高度な応答が得られる反面、基本的に有償で利用する必要があります。
ところで、HuggingChat というサービスをご存知でしょうか。HuggingChat は、様々な開発元による多数の言語モデルを自由に切り替えて使用できる、非常に興味深いプラットフォームです。このサービスは驚くべきことに無償で提供されており、異なるモデルを手軽に試すことができるのが特徴です。ユーザーは、各モデルの応答の違いや特性を比較しながら、自分の目的に最適な言語モデルを選ぶことができます。
今回は、この HuggingChat を使って、言語モデルの比較実験を行いました。テーマとして、クリスマスシーズン向けの飲食店のポップ広告を各モデルに生成させ、その表現や内容の違いを見ていきます。さっそく実験結果をご紹介します。
実験の条件とプロンプト
今回の実験では、次の条件とプロンプトを設定しました：
- 実施日: 2024年11月13日
- システムプロンプト: デフォルト
- 画像生成やウェブサーチなどの “Tools”: 使用しない
- プロンプト内容: “クリスマスシーズンに向けた居酒屋の店内ポップ広告を作成してください。広告の対象は 30代の会社員グループです。お勧めの料理には、洋風の鍋料理や若鶏のフライドチキン盛り合わせ、そして海外から直輸入したクリスマス向けの特別ワインを含めてください。また、他店との差別化を図るため、「この店でしか味わえない」独自の魅力を示してください。お客様が「ぜひ行ってみたい」と感じるような具体性のある表現を使用し、華やかで特別な夜を楽しめる雰囲気を強調してください。”
HuggingChat で使用する言語モデルのリスト
今回は、HuggingChat で利用可能な各種言語モデルを用い、それぞれの特徴を比較してみます。以下は、言語モデルの関連性を考慮しつつ、モデルサイズ降順で並べています。
- CohereForAI/c4ai-command-r-plus-08-2024
- meta-llama/Meta-Llama-3.1-70B-Instruct
- nvidia/Llama-3.1-Nemotron-70B-Instruct-HF
- Qwen/Qwen2.5-72B-Instruct
- Qwen/Qwen2.5-Coder-32B-Instruct
- mistralai/Mistral-Nemo-Instruct-2407
- NousResearch/Hermes-3-Llama-3.1-8B
- microsoft/Phi-3.5-mini-instruct
各言語モデルの出力内容と分析
それでは、実際の各言語モデルからの応答内容を紹介していきましょう。
CohereForAI/c4ai-command-r-plus-08-2024
モデルサイズ: 104B
HuggingChat による紹介: Cohere’s largest language model, optimized for conversational interaction and tool use. Now with the 2024 update!（訳: Cohere 社の最大規模の言語モデルで、会話形式のインタラクションやツール利用に最適化されています。2024年のアップデート版が登場しました!）
結果
🎄 クリスマス限定！洋風鍋と特別ワインで彩る、大人のグルメな夜 🍷
🎉 30代会社員の皆様へ：今年のクリスマスは、いつもと違う特別なひと時を！🌟
🍲 ご紹介するのは、当店自慢の「洋風鍋」！🥘 じっくり煮込んだ濃厚なスープは、寒い季節にぴったりの贅沢な味わいです。具材には、新鮮な魚介類と厳選したお肉をたっぷり使用。スパイシーな香りとクリーミーな口当たりが絶妙なハーモニーを奏でます。
🍗 さらに、メイン料理にはジューシーな若鶏のフライドチキン盛り合わせを！🐔 サクサクの衣に包まれた柔らかなお肉は、一度食べたら忘れられない味。ボリューム満点で、仲間とシェアして楽しむのに最適です。
🍷 そして、お料理に華を添えるのは、海外から直輸入したプレミアムなクリスマスワイン！🍾 フルーティーで深みのある味わいは、当店でしか味わえない逸品。この季節限定の特別な一杯をお楽しみください。
🎅 当店は、他店とは一味違う、大人のためのクリスマス空間を演出します。シックなインテリアと温かな照明が、非日常的な雰囲気を演出。仲間との忘年会や、大切な人との特別な夜に、最高の思い出をお届けします。
🎁 クリスマスの予約受付中！この機会に、当店でしか味わえないグルメなクリスマスを体験しませんか？🎉 皆様のご来店を、心よりお待ちしております！
🎄 洋風鍋と特別ワインで、最高のクリスマスを！🥂
meta-llama/Meta-Llama-3.1-70B-Instruct
モデルサイズ: 70.6B
HuggingChat による紹介: Ideal for everyday use. A fast and extremely capable model matching closed source models’ capabilities.（訳: 日常利用に最適。高速で非常に高性能なモデルで、クローズドソースモデルに匹敵する能力を備えています。）
結果
クリスマスシーズンに向けて、特に30代の会社員グループに向けた居酒屋の店内ポップ広告を制作します。
タイトル：クリスマスの夜に、特別なひとときを
背景：
-
- クリスマスシーズンを思わせる明るい色合いと、星や雪のフリルをあしらったデザインで、華やかで特別な雰囲気を演出します。
メインコンテンツ：
-
- お勧めの料理： – 洋風の鍋料理：クリスマスにぴったりの特別メニュー。 – 若鶏のフライドチキン盛り合わせ：贅沢な食材をふんだんに使った、贅沢なフライドチキン盛り合わせ。 – 海外から直輸入したクリスマス向けの特別ワイン：こだわりのワインとともに、特別な夜を満喫してください。
- 独自の魅力： – 店内に設置された「クリスマスツリー」：毎年、クリスマスシーズンに設置される、店内でしか見られない巨大なツリー。 – 特別な夜を彩る、店内ライブ：クリスマスソングやジャズを奏でるライブを楽しめます。 – スペシャルギフト：1,000円以上のご注文で、オリジナルのクリスマスギフトがもらえるキャンペーンを実施中。
- 呼びかけ： – クリスマスの夜に、特別なひとときを。 – ぜひ、ご来店ください。 – クリスマスシーズンの特別メニューは、期間限定です。
nvidia/Llama-3.1-Nemotron-70B-Instruct-HF
モデルサイズ: 70.6B
HuggingChat による紹介: Nvidia’s latest Llama fine-tune, topping alignment benchmarks and optimized for instruction following.（訳: NVIDIA の最新の Llama ファインチューンモデルで、アラインメントベンチマークで最高評価を獲得し、指示の理解と実行に最適化されています。）
結果
註: 電話番号、メールアドレス、URL、住所は削除してあります。
クリスマスシーズン限定！華やかな夜を彩る居酒屋「星夜（せいや）」の特別な体験
【お勧めのクリスマスシーズン限定メニュー】
-
- 星夜スペシャルクリスマス鍋：フランス産の高級牛肉と新鮮な海鮮がたっぷり入った、クリスマス限定の洋風鍋料理。特製のトリュフダシで贅沢に味わえる一品。（¥5,500 – 4名様～）
- 若鶏のフライドチキン盛り合わせ「クリスマスパーティープレート」：手羽先、もも、胸肉の3種類の若鶏を使用したフライドチキン。クリスマスカラーの彩り豊かな野菜と共に盛り上がるパーティープレート。（¥4,200 – 3名様～）
- クリスマス特別ワイン：イタリア・フランスから直輸入した、クリスマス限定の特別ワイン。ワインを楽しむための特別デザインのクリスマスグラス付き。（¥2,800～）
【この店でしか味わえない独自の魅力】
-
- 星空プロジェクションマッピング：店内天井を星空に変えるプロジェクションマッピング。特別な夜をより一層魔法のように彩る。
- ライブ演奏：クリスマスソングやジャズスタンダードナンバーを奏でるライブバンド。華やかな夜を演出する音楽とともに、特別な時間を愉しもう。
- 限定クリスマスデコレーション：店内を飾る特別なクリスマスツリーやイルミネーション。インスタに映えそうなスポットも多数。
【クリスマスシーズン限定プラン】
-
- クリスマスパーティープラン：上記メニューを含むコース料理（¥8,800～）+ 特別ワイン1杯付き（¥2,800～）+ 星空プロジェクションマッピング&ライブ演奏付き
- クリスマスデートプラン：上記メニューを含むコース料理（¥6,800～）+ 特別ワイン1杯付き（¥2,800～）+ 星空プロジェクションマッピング&ライブ演奏付き
【予約・問い合わせ】
-
- 電話：（ファームロジックスにより削除）
- メール：（ファームロジックスにより削除）
- 予約フォーム：（ファームロジックスにより削除）
【営業時間】
-
- 月～木：17:00～23:30（ラストオーダー23:00）
- 金～土：17:00～1:00（ラストオーダー0:30）
- 日・祝日：16:00～22:30（ラストオーダー22:00）
【アクセス】
-
- 最寄り駅：東京メトロ銀座線「銀座駅」から徒歩5分
- 住所：（ファームロジックスにより削除）
クリスマスシーズンを、星夜（せいや）で特別な夜にしませんか。
Qwen/Qwen2.5-72B-Instruct
モデルサイズ: 72.7B
HuggingChat による紹介: The latest Qwen open model with improved role-playing, long text generation and structured data understanding.（訳: 最新の Qwen オープンモデルで、ロールプレイ、長文生成、構造化データの理解が強化されています。）
結果
【クリスマス特別企画】冬の夜を彩る特別な一晩を！
🎉 クリスマスシーズンの特別な夜に、ぜひお越しください。当店では、30代の会社員の皆様に向けた特別なメニューをご用意いたしました。友人や同僚、大切な方と、この季節だけの贅沢な時間を過ごしませんか？
🔥 おすすめ料理： – 洋風鍋料理：特製のスープに、国産牛の赤身肉、新鮮な野菜、そして特製のソーセージをたっぷりと。温かい一皿で、寒い冬をあったかく過ごしましょう。 – 若鶏のフライドチキン盛り合わせ：サクサクジューシーなフライドチキンは、ビールやワインとの相性抜群。パーティーの盛り上がりを支える一品です。 – 海外直輸入の特別ワイン：世界的に有名なワイナリーから直輸入した、当店オリジナルのクリスマス用ワイン。その風味豊かな味わいは、この店でしか味わえません。
✨ この店でしか味わえない特別な魅力： – 季節限定のスペシャルコース：上記のおすすめ料理を含む、クリスマス特別コースをご用意。コースには、当店自慢の前菜やデザートも含まれています。 – 豪華な店内装飾：クリスマスツリーやイルミネーションで彩られた店内は、まるで別世界。特別な夜を一層華やかに演出します。 – 限定特典：クリスマス期間中、当店をご利用いただいた方には、オリジナルのクリスマスグッズをプレゼント。先着30組様限定ですので、お早めにご予約ください。
❄️ 期間限定イベント： 12月24日（金）には、特別なライブパフォーマンスを実施。プロのミュージシャンによる生演奏で、クリスマスの夜をさらに特別なものに。
🌟 ご予約はお早めに： ご予約はお電話または店頭にて承っております。ご友人や同僚と、この特別な夜を当店で過ごしましょう。皆様のご来店を心よりお待ちしております。
当店では、皆様に最高のクリスマス体験を提供するために、細部にまでこだわりました。ぜひこの機会に、友人や大切な人と一緒に、当店で特別な一夜をお過ごしください。お待ちしております！
Qwen/Qwen2.5-Coder-32B-Instruct
プログラムコーディング用に特化されたモデルだそうなので用途に適していないと思いますが、試してみました。
モデルサイズ: 32.8B
HuggingChat による紹介: Qwen’s latest coding model, in its biggest size yet. SOTA on many coding benchmarks.（訳: Qwen の最新のコード生成モデルで、これまでで最大規模です。多くのコードベンチマークで最先端の性能を誇ります。）
結果
【クリスマススペシャル】 この冬、特別な味わいをお楽しみください。私たちの居酒屋は、クリスマスシーズンを彩る特別なメニューを用意しました。30代のビジネスマン、ビジネスwomanへ、クリスマス特別の夜を一緒に作りましょう。
まず、目を引くのが「洋風鍋料理」です。厳選した食材を特製のスープで煮込み、その味わいはこの店でしか味わえない独自の魅力です。温かい鍋の中で、物々の味がしっかりと溶け込んでいて、一飲一食が充実感満点です。
そして、また一つの特典は「若鶏のフライドチキン盛り合わせ」です。この店独自のレシピで仕上げたフライドチキンは、柔らかく食感が抜群で、クリスマスの夜を彩る特別な味わいを提供します。その旨味は、一度食べれば忘れないでしょう。
さらに、クリスマス特別ワインもぜひお楽しみください。海外から直輸入したワインは、冬の寒さをほぐすほぐす温かさを提供します。その甘みと酸味が完美に調和し、食事の味を引き立てます。
私たちの居酒屋は、特別な夜を過ごすための場所として存在します。高級感のあるインテリアと、落ち着いた雰囲気が織り交ぜられていて、リラックスした時間を過ごせます。クリスマスの夜、大切な人との特別な時間を一緒に作りましょう。
ぜひ、私たちの居酒屋へお越しください。クリスマス特別メニューを堪能して、特別な夜を一緒に作りましょう。
mistralai/Mistral-Nemo-Instruct-2407
モデルサイズ: 12.2B
HuggingChat による紹介: A small model with good capabilities in language understanding and commonsense reasoning.（訳: 言語理解と常識的な推論に優れた小規模モデルです。）
結果
残念ながら、タイムアウトエラーで動作しませんでした。
NousResearch/Hermes-3-Llama-3.1-8B
モデルサイズ: 8.03B
HuggingChat による紹介: Nous Research’s latest Hermes 3 release in 8B size. Follows instruction closely.（訳: Nous Research の最新リリースである Hermes 3（8Bモデル）は、指示に忠実に従います。）
結果
🎄クリスマスに楽しむ! 30代会社員をターゲットにした特別な夜の提案🎄
🍽️本日の特別な味覚をぜひお楽しみください!
-
- 洋風の鍋料理で新たな味覚を広げましょう!
- 豊富な食材と秘伝のたれが一体となり、まるで母さんの味のようです。
- 若鶏のフライドチキン盛り合わせ
- 焼き立てで新鮮な鶏の胸肉、サワークリームソースの絶妙なバランスで、懐のødを満たします。
- 海外から直輸入! クリスマス限定の特別ワイン
- 世界各地の絶品のワインを厳選、クリスマスのお食事にぴったりマッチしたものをご用意。
- 洋風の鍋料理で新たな味覚を広げましょう!
🎁この店でしか味わえない独自の魅力🎁
-
- 心温まるクリスマスイラストの装飾
- 店内はクリスマスの雰囲気を感じさせる心温まる装飾があふれるので、お客様はまるでクリスマスイブのような感覚で楽しめます。
- スペシャルライブイベント
- クリスマスシーズン限定で、心を捉える音楽が響くライブイベントを開催。クリスマスの夜を更に特別に。
- 心温まるクリスマスイラストの装飾
🎉ぜひ、特別な夜をこの店で!🎉
-
- 特別な夜を、家族や友人と一緒にこの店で!
- 30代の会社員を中心に、家族や友人との出会い、思い出作りの場所に。
- 予約はお早目に!
- クリスマスシーズンは混雑が予想されるため、お早めの予約をお勧めします。
- 特別な夜を、家族や友人と一緒にこの店で!
このクリスマス、特別な味覚と雰囲気を味わってみてください。ぜひ、お楽しみに。🎄🍽️
microsoft/Phi-3.5-mini-instruct
モデルサイズ: 3.82B
HuggingChat による紹介: One of the best small models (3.8B parameters), super fast for simple tasks.（訳: 最も優れた小規模モデルの一つ（3.8Bパラメータ）で、シンプルなタスクに対して非常に高速です。）
結果
🎅✨ クリスマスマラソンを待つ 30代の会社員のための居酒屋の魔法を解き放つ夜へ🕯️🍾
あなたが毎日の疲れを癒し、新しい年の誓いを立てる準備ができたら、ぜひここに足を運んでください。“クリスマスマラソン”と名付けた私たちの居酒屋で、30代の会社員の心と口に合う華やかな夜を演出します。
🍚 クリスマスの食欲を刺激する洋風鍋料理
深い鍋の中では、旬の野菜と和えた鶏肉が、その味わい深い風味を楽しめる一品。ローストしたサーモンとシーフードの旨みが溶け合い、冬の夜の温もりを感じさせます。他の居酒屋では見られない独自の鍋のレシピで、この店だけがあなたに味わい深い体験を提供します。
🍖 若鶏のフライドチキン盛り合わせ
クリスマスの甘い汁を舌に吸い込む柔らかな肉質のフライドチキン。その上には、甘いソースとシラントルの塩気がマッチし、甘辛い味わいがあなたの舌を楽しませます。他の居酒屋では見られない、この店の独自の風味と技術で、あなたの満足を証明します。
🍷 海外から直輸入のクリスマス向け特別ワイン
世界各地から選ばれたワインを集めた珍しいカタログで、そのカプチーノやカクテルに深みを加えます。クリスマスの夜には、皆が笑顔になる冒険的な体験を楽しめるためのワインを提供します。この店だけが提供する独自のワインセレクションで、あなただけが経験する魔法のような夜を楽しめるでしょう。
🎉 この店でしか味わえない特別な夜への招待
30代の会社員のための居酒屋で、クリスマスマラソンを祝う雰囲気を作ります。この店だけが提供する独自の魅力で、他の居酒屋とは一線を画します。“ぜひ行ってみたい”と思ったら、今すぐその場に足を運んでください。一緒に華やかで特別な夜を楽しみましょう！🎉🎅
🔗 予約はこちらから (予約コードや連絡先を記載)
#クリスマスマラソン #居酒屋 #特別な夜 #30代会社員のための居酒屋 #洋風鍋料理 #若鶏のフライドチキン #独自のワインセレクション #魔法の夜 #クリスマスの準備
ちなみに ChatGPT では?
比較のため、OpenAI 社の GPT-4o でも同じことをしてみました。
🎄✨ クリスマス特別パーティープラン！✨🎄
会社帰りの皆さまへ
今年のクリスマスは、仲間と一緒に華やかで特別な夜を過ごしませんか？
当店のパーティープランは、他店にはない “特別なひととき” をお約束します！
🌟 お勧め料理
– 洋風鍋料理：ホクホク野菜と厳選したお肉を、こだわりのスープで煮込んだ心も体も温まる一品。寒い冬の夜にぴったりです。
– 若鶏のフライドチキン盛り合わせ：外はサクサク、中はジューシーなフライドチキン。食欲をそそる香りとボリュームで、グループに最適なシェアスタイルです。
– 海外直輸入クリスマスワイン：今年は特別に海外からクリスマス向けのプレミアムワインを取り寄せました！この時期だけの特別なラインナップをお楽しみください。
💫 この店でしか味わえない、特別な体験
他のどこにもない、当店ならではのサービスや空間でお迎えします。落ち着いた照明に包まれた店内で、クリスマスの特別装飾が施された空間でリラックスしながら、あたたかいおもてなしを受ける贅沢な時間をお楽しみください。
忘れられない特別なクリスマスを仲間と一緒に過ごすなら、ぜひ当店へ！
事前予約受付中、この機会にお早めにご予約を！
ちなみに Mistral AI の Pixtral Large モデルでは?
11月18日にリリースされたばかりの Pixtral Large でも試してみました。
クリスマスシーズン特別キャンペーン
30代の会社員グループに最適！
華やかで特別な夜をお楽しみください
★ 洋風の鍋料理 ★
冬の寒さを吹き飛ばす、温かくてボリューム満点の洋風鍋料理。新鮮な食材を使用し、シンプルながらも深い味わいを楽しめます。この店でしか味わえないオリジナルのスパイスブレンドが特徴です。
★ 若鶏のフライドチキン盛り合わせ ★
サクサクの衣とジューシーな肉のハーモニーが絶妙！若鶏のフライドチキン盛り合わせは、誰もが大満足の一品。特製のタレと一緒にお楽しみください。
★ クリスマス向け特別ワイン ★
海外から直輸入したプレミアムワインをご用意しました。このワインは、クリスマスシーズン限定でお楽しみいただけます。特別な夜にふさわしい一杯をお届けします。
この店でしか味わえない独自の魅力
-
- オリジナルのスパイスブレンド: 洋風鍋料理に使用するスパイスは、シェフが厳選した特別なブレンド。他店では決して味わえない独自の風味です。
- 特製のタレ: 若鶏のフライドチキンに合う特製のタレは、秘伝のレシピで作られています。このタレが、フライドチキンの味を一層引き立てます。
- プレミアムワイン: クリスマスシーズン限定で提供する特別ワインは、海外から直輸入した一品。このワインを楽しめるのは、この店だけです。
ぜひ一度、特別な夜をお楽しみください！
クリスマスシーズンにふさわしい華やかで特別な夜を、仲間と一緒に楽しみましょう。この店でしか味わえない独自の魅力を、ぜひお楽しみください。
ご予約・お問い合わせ
電話番号: 03-XXXX-XXXX メール: （ファームロジックスにより削除）
店舗情報
住所: 東京都XX区XX町XX-XX 営業時間: 17:00〜23:00 定休日: 毎週月曜日
クリスマスシーズン限定の特別メニューをお見逃しなく！ ぜひ、仲間と一緒に特別な夜をお楽しみください。
評価
以下は、ファームロジックスによる評価です。皆様は、どのようにお感じになりましたか? 興味深いのは、同じ Llama-3.1-70B-Instruct ベースでありながら、またモデルのパラメタサイズが同一であるにも関わらず、Meta-Llama-3.1-70B-Instruct と Llama-3.1-Nemotron-70B-Instruct-HF の印象が全く異なる、という点です。ファインチューニングの相違によるものでしょうか。
| モデル | サイズ | 完成度 | 創造性 | 文章力 | Markdown | 絵文字 |
| c4ai-command-r-plus-08-2024 | 104B | ○ | ○ | ◎ | ○ | |
| Meta-Llama-3.1-70B-Instruct | 70.6B | △ | △ | ○ | ○ | |
| Llama-3.1-Nemotron-70B-Instruct-HF | 70.6B | ◎ | ◎ | ◎ | ○ | |
| Qwen2.5-72B-Instruct | 72.7B | ○ | ◎ | ○ | ○ | ○ |
| Qwen2.5-Coder-32B-Instruct | 32.8B | △ | ○ | △ | ||
| Mistral-Nemo-Instruct-2407 | 12.2B | |||||
| Hermes-3-Llama-3.1-8B | 8.03B | △ | △ | △ | ○ | ○ |
| Phi-3.5-mini-instruct | 3.82B | △ | ○ | △ | ○ | |
| GPT-4o | ? | ○ | ○ | ◎ | ○ | ○ |
| Pixtral Large | 123B | ○ | △ | ○ | ○ |
まとめ
今回の実験を通して、HuggingChat は、複数の言語モデルを利用したタスク比較が手軽に行える非常に有用なプラットフォームであることが分かりました。それぞれのモデルには独自の特長があり、用途や目的に応じて選択することで、より効果的なアウトプットが期待できるのではないでしょうか。
今後も引き続き、HuggingChat の活用方法を見つけていきたいと思います。