マルチモーダルAIはネイティブ型に傾くが、製品はまだ組み合わせ型——期日 2027-07-14

画像を読み、音声を聞き、画像を作るAIには、画像を読むモデルと画像生成ツールや音声ツールをつなぎ合わせる作り方と、学習の段階から一つのモデルがあらゆる形式を直接入出力する作り方の二通りがある。どちらの道を取るかで、どの製品の振る舞いが一貫し使い心地がよいか、オープンソースが追いつけるかが決まる。最先端のモデルを学習させる現場の人々の多くは技術的にネイティブ型が優れているとみるが、主流のアシスタントが今使っているのは組み合わせ型だ。

本紙の見立て:この路線争いはまだ続いており、方向はネイティブ一体型(early fusion、学習時にあらゆる形式を一つのモデルに入れる方式)に傾いているが、決着はついていない。

実装は遅れており、特にオープンソースで顕著だ。主流のアシスタントは今も多くが画像を読む言語モデルに外付けの画像生成や音声のツールを加えた形で、オープンソースがネイティブ型を再現する動きははっきり遅れている。

ネイティブ型の公開例の一つが、Meta FAIRが2024年5月に発表したearly fusionモデル群Chameleonである。

Chameleon Team — Meta FAIR — arXiv
「We present Chameleon, a family of early-fusion…」

2027年7月に検証する。主流のアシスタントが依然としてVLM(画像を読む言語モデル)に外付けの部品を組み合わせる形が中心なら、傾きは実現していない。2社以上のフロンティアの旗艦がネイティブのany-to-any(どんな形式でも入出力できる)に移れば、傾きは確定する。

何が起きれば覆るか

オープンソースの生態系がネイティブのany-to-anyを再現し品質で追いつけば、決着がつく。組み合わせ型がコスト面で圧倒し続ければ、傾きは反転する。