ChatGPTなどのAIというと、「文字を入力すると、文章で答えてくれるもの」というイメージを持っている人も多いかもしれません。
しかし、現在のAIは文字だけを扱うものではありません。
写真を見せて質問したり、声で会話したり、動画や資料の内容を読み取ったりと、さまざまな種類の情報を扱えるAIが登場しています。
こうしたAIを理解するうえで重要なのが、「マルチモーダルAI」という言葉です。
今回は、マルチモーダルAIとは何なのか、実際に何ができるのかを初心者向けに見ていきます。
1. マルチモーダルAIとは？
マルチモーダルAIとは、 文字・画像・音声・動画など、複数の種類の情報を扱えるAI のことです。
簡単にいえば、AIが受け取る「情報の種類や形式」のことです。
たとえば、私たちがAIに渡せる情報にはこんなものがあります。
「マルチ」は複数という意味です。 つまりマルチモーダルAIとは、一つの種類だけではなく、 さまざまな形式の情報を組み合わせて扱えるAIと考えると分かりやすいでしょう。
たとえば、AIに写真を見せながら文章で質問することもできます。 「この写真に写っているものは何？」と聞けるのも、 AIが文章と画像の両方を扱えるからです。
「マルチモーダルAI」と聞くと難しそうですが、 実はすでに 身近なところで使える機能 が増えています。
例えば何ができる？
例えば、料理の写真をAIに見せて質問できます。
ほかにも、マルチモーダルAIでは 次のような使い方ができます。
写っているものについて質問したり、 状況を説明してもらったりできます。
PDFなどの資料を読み込ませて、 内容を要約したり質問したりできます。
キーボードを使わず、 AIと声でやり取りすることもできます。
画面の内容を見せながら、 操作方法や問題について相談できます。
「これを見て」とAIに渡せる
ようになってきたということです。
3. AIは本当に画像や声を「理解」しているの？
ここで少し疑問が出てきます。
AIは人間と同じように、 写真を見たり、声を聞いたりしているのでしょうか。
AIは画像・音声・文章などの情報を コンピューターが扱える形に変換し、 学習した大量のデータとの関係 から判断しています。
写っているのか？」
話しているのか？」
どんな関係があるのか？」
情報同士の関係や特徴を探す
例えば猫の写真を見せた場合も、 人間のように 「猫を見た」と感じているわけではありません。
画像に含まれる特徴と、 学習した「猫」に関する情報との関係から、 猫である可能性が高い と判断しています。
4. ChatGPTやGeminiもマルチモーダルAI？
マルチモーダルAIというと、 何か特別な最新技術のように感じるかもしれません。 しかし実際には、 私たちが普段使っている有名なAIにも マルチモーダルの機能が取り入れられています。
ChatGPTでは文章だけでなく、 画像を見せて質問したり、 声で会話したり、 ファイルの内容について質問したりできます。
Geminiでも、 写真や動画、音声、ドキュメントなどを渡して、 内容について質問や分析をすることができます。
※利用できる機能や上限は、 サービス・モデル・料金プランなどによって異なる場合があります。
5. ただし、見たものが必ず正しいとは限らない
マルチモーダルAIは便利ですが、 画像や音声、資料を渡せば 必ず正しく判断できるわけではありません。
マルチモーダルAIでも、 入力された情報をうまく読み取れず、 間違った判断をしてしまうことがあります。
AIは情報を整理したり、 内容を理解する手助けにはとても便利です。 ただし、重要な判断をすべてAIだけに任せるのは避けましょう。
まとめ
※各サービスの機能や仕様は変更される場合があります。最新情報は公式ページをご確認ください。