「夕焼けの海辺を歩く猫」「近未来の東京を水彩画風に」といった言葉を入力するだけで、AIは短時間で画像を作れます。
何もないところから一瞬で絵を描いているように見えますが、その裏側では、AIが学習した画像の特徴と言葉の関係を使い、少しずつ画像を組み立てています。
この記事では、画像生成AIがどのように言葉を受け取り、1枚の画像を完成させるのかを、初心者向けにわかりやすく解説します。
※画像生成AIには複数の方式があります。この記事では、代表的な仕組みである「拡散モデル」を中心に説明します。
画像生成AIとは？
画像生成AIとは、入力された言葉や参考画像をもとに、新しい画像を作るAIです。 たとえば「青い帽子をかぶった白い猫」と入力すると、AIは指示に含まれる条件を読み取り、それに合う画像を作ろうとします。
白い猫」
すでに存在する画像の中から、条件に合うものを探す
学習した特徴を組み合わせ、指示に合う画像をその場で構成する
まずは大量の画像と言葉の関係を学ぶ
画像を作る前に、AIは多くの画像と、それを説明する文章などから特徴を学習します。 画像と言葉を一緒に学ぶことで、どの言葉が、どのような見た目と結びつくのかを捉えていきます。
AIは、画像に見られる形・色・表現・光などのパターンを、数値として学習します。
入力した言葉は画像を作るための道しるべになる
画像生成AIに入力する文章は「プロンプト」と呼ばれます。AIは言葉同士の関係を数値として扱い、何を、どこで、どのように描くのかを判断する手がかりにします。
元の画像をそのままコピーしているの？
画像が数秒で出てくると、「どこかにある画像を探して、切り貼りしているの？」と思いますよね。
学習した色・形・質感・構図などの特徴を手がかりに、指示に合う新しい画像をその場で組み立てます。
保存画像を探して切り貼りする
画像検索のように、元画像を何枚か選んで合成しているわけではありません。
学んだ特徴から新しく組み立てる
色や形の特徴を手がかりに、プロンプトに合う1枚をその場で計算します。
学習データの影響を強く受けたり、既存の作品・キャラクター・ロゴなどに似たりする可能性があります。公開や仕事で使う前に、サービスの規約と画像の類似性を確認しましょう。
手や文字が不自然になることがある理由
画像生成AIは、学んだパターンから「それらしく見える画像」を作るのが得意です。一方で、物の構造・数・位置関係を人間と同じように完全に理解しているわけではありません。
手らしい形や文字らしい線は作れても、指の本数、関節のつながり、正しい文字列などの細かな条件でずれが起こることがあります。
関節の形
細かな文字
位置関係
つながり
このようなAI画像特有の不自然さも、形・数・配置などをプロンプトで具体的に指示することで、より自然で現実に近い見た目へ調整できます。
※ ただし、完全に防げるわけではありません。まとめ
指示に合う新しい画像を組み立てます。
画像と言葉の関係から、形・色・表現・光などの特徴を学びます。
プロンプトから、主役・場所・動き・雰囲気などを読み取ります。
ノイズから形や色を整え、条件に合う新しい画像を作ります。
学習した特徴を組み合わせ、その場で新しい1枚を作るのが基本です。
- 具体的なプロンプトにすると、不自然さを減らし、イメージへ近づけやすくなります。
- 手・文字・個数・背景などは、生成後に細部まで確認しましょう。
- 公開や仕事で使う前に、サービスの規約と既存作品との類似性も確認しましょう。
※画像生成AIには複数の方式があります。この記事では、代表的な「拡散モデル」を中心に説明しました。
参考資料
この記事は、画像生成と拡散モデルに関する以下の論文・技術資料を参考にしています。
-
01
Denoising Diffusion Probabilistic Models
ノイズを段階的に取り除き、画像を生成する拡散モデルの基本となる研究です。
-
02
High-Resolution Image Synthesis with Latent Diffusion Models
潜在空間で拡散処理を行い、文章などの条件から高解像度画像を作る研究です。
-
03
Improving Image Generation with Better Captions（DALL·E 3）
詳しい画像説明を学習に使い、入力した言葉に沿う画像生成を改善した技術資料です。