生成AIの画像モデルを横断評価する社内ベンチマークを実施 ― 日本語ビジネス資料の図版生成で主要5モデルを比較検証

日本語テキストの正確性・レイアウト再現・アスペクト比への追従・生成コスト。4つの評価軸で主要5モデルを横断検証。

株式会社PERVA（本社：東京都中央区／ITカンパニー）は、日本語ビジネス資料の図版生成を対象に主要な画像生成モデルを横断評価する社内ベンチマークを実施しました。OpenAI・Google・オープンソース系を含む5モデルを同一条件で比較しており、用途ごとに最適なモデルを選び取るための評価基盤を継続的に整備しています。

背景

生成AIによる画像生成は急速に進化しており、提案資料やスライドの図版制作にも活用が広がっています。一方でモデルごとに得意領域が大きく異なるため、用途を見極めないまま1つのモデルへ依存すると品質のばらつきや手戻りを招きかねません。とりわけ日本語のテキストを含む図版では、文字が崩れる・指定した縦横比で出力されない・レイアウト指示が無視されるといった失敗が起こりやすい領域です。海外発のモデルが多いなかでどのモデルがどの用途に耐えるのかを客観的に把握する必要があり、日本語の描画品質は特に検証が欠かせません。

本ベンチマークの評価設計

1. 同一条件での横断比較

同じプロンプトと同じ参照画像を用いてモデルだけを差し替え、出力を揃えました。条件を固定することで、出力差がモデルの実力差に由来すると担保できます。

2. 実務に直結する4つの評価軸

評価軸は日本語テキストの正確性・レイアウト指示への追従・指定した16対9での出力可否・1枚あたりの生成コストの4点です。実際の資料制作で問題になる観点だけに絞り込みました。

3. 用途ごとの最適モデル選定と継続更新

評価結果は用途別の選定基準としてナレッジ化しており、モデルの世代交代に合わせて再検証を重ねます。一度の比較で終わらせず、評価基盤そのものを継続的に育てる運用です。

検証結果

検証対象は日本語の見出しやラベルを高密度に含む「資料の表紙」と「業務画面のイメージ図」の2タスク。5モデルで計10点を同一条件下で生成しました。プロンプトと参照画像を完全に固定することで、出力差がモデルの実力差のみに由来する統制条件を確保しています。評価軸は日本語グリフの正確性・レイアウト指示への追従・アスペクト比制御・生成コストの4点とし、1点ずつ目視で照合しました。

日本語レンダリング精度で最上位に位置した2モデル

OpenAIのgpt-image-2とGoogleのGemini 3 Pro Imageは、見出しから注釈や表組みの項目名に至る微小テキストまで、日本語グリフをほぼ正確に描画しました。指定した16対9のアスペクト比も維持され、四隅に配置したロゴやフッターの欠落もありません。追加の後処理を要さず制作物へ組み込める水準にあり、日本語資料の用途では両モデルが明確に最上位を占めます。

モデル特性が顕著に表れた失敗パターン

残る3モデルは、それぞれ異なる失敗モードを示しました。廉価モデルは写真的なテクスチャの再現性こそ高い反面、日本語見出しに実在しないグリフの誤生成が頻発し、可読性を確保できません。オープンソース系モデルはプロンプト追従そのものが破綻しており、指定した日本語を描画せず英語ロゴのみを抽出した抽象的なビジュアルへと出力が発散しました。旧世代モデルは大きな見出しこそ処理できるものの、微小テキストでグリフが崩れ、横長比率への非対応から構図の端部が欠落します。

本検証から得られた示唆

コスト効率や写真的表現力に優れるモデルであっても、日本語テキストの再現精度という単一要因で実務要件を満たさない事例が確認されました。日本語に強いモデルが全用途で最適解となるわけでもありません。得意領域はモデルごとに明確に分離しており、単一モデルへの依存ではなく、タスク特性に応じたモデル選定こそが品質と生産性を両立させる合理的な設計であると結論づけています。

今後の展開

本ベンチマークで得た知見は自社の資料制作やAI開発の現場へ還元し、用途に応じたモデル選定の精度を高めていきます。あわせて評価対象を画像生成にとどめず文章・音声・動画を含む生成AIモデル全般へ広げていく方針です。得られた検証結果は自社AIプロダクト「VADO AI」の品質向上にも接続してまいります。特定のモデルに縛られず常に最適な技術を選び取れる評価体制を社内に持ち続けることこそ、AI開発会社としての価値だと考えています。

お問い合わせ先

株式会社PERVA ITカンパニー
TEL：03-6428-7357
MAIL：info@perva.co.jp
問い合わせ：https://perva.co.jp/contact