消しゴムマジックと編集マジック

Google Pixelシリーズといれば、CMでもおなじみのAIによる消しゴムマジックで写真内の一部を消去する機能が有名。編集マジックは今のところPixel 8シリーズのみ対応の機能で、消すだけでなく、選択した画面の内の部分を移動したり、サイズを変更したりできる。

CMでは消しゴムマジックは結果の見栄えが良いように背景の一部をちょこっと消しているけど、画面のメインを消すとどうなるのか？ちょっと試してみた。併せて編集マジックでも消去を試してみた……というのも編集マジックで移動やサイズを変更した場合は、当然本体見えていない部分を生成する必要があり、それが消しゴムマジックとどう違う結果になるのか気になったから。

これがオリジナルの画像。消すオブジェクトに隠れている規則正しく並んだ窓や樹木、造作物をどう生成するかがポイントとなる。

Pixel 7 Proの消しゴムマジックは消す部分の周囲から画面を埋める要素を抽出するので、これだけ大きな範囲だと周囲からの画像を参照して画像を生成するだけでは埋めようがなく、滅茶苦茶な画像を作り出す。

Pixel 8 ProだとTensor G3のAIプロセッサーがG2より強化されたのもあって、機械学習の成果で路面はかなり上手く表現する。ビルの窓部分はPixel 7 Proよりは頑張ったけど、やっぱり破綻している。

Pixel 8 Proの編集マジックは、実際の画像処理はGoogleのデータセンターで行なうクラウド処理なので、Pixel本体よりビルの外観は見事に再現して、見えない樹木も作り出したり、キッチンカー横の看板の表現も消しゴムマジックと編集マジックでは差が出た。

こちらは店内の写真のオリジナル。画面の3分の1近くを占める人物を消すと、背景をどう処理するのか？

Pixel 7 Proはビル同様に周囲から要素を集めて画面を埋めた感じでどうにもならない仕上がり。

Pixel 8 Proの消しゴムマジックだと、隠れていたドラム缶はほぼ完璧に再現し、奥壁の「とり天」の短冊も頑張って表現している。ただ背景のガラスは無くなったの？って感じで、まるでそこが外を素通しでつながっているみたい。

編集マジックはガラスの映り込みを再現しようとしたのは良いけど、ドラム缶の形はいびつになり、奥角の壁の処理やその上の「とり天」の短冊は完全に別物に置き換わった(笑)

編集マジックはクラウド処理なので実行すると4つの処理結果が表示され、その中から気に入ったものを選んで作業を継続するのだが、一発目ではどれもこんな感じでイマイチだった。

そこで4つの候補を選択せずキャンセルし、何度かクラウド処理をリクエストしみると、2～3回目の提案でこんな感じに壁やガラス、ドラム缶をそこそこいい感じに処理されたものが出てきた。この辺はまさに画像生成AIそのまま。ただその後も何度かやってみたけど、「とり天」の短冊は消しゴムマジックのような結果のものは出てこなかった……もっと何度も再生成させて学習させたら違うんだろうか？

スマホの画面で1分足らずでこれだけの画像を作るんだからPixelの画像処理恐るべし！！

ちなみにGoogleドライブ契約するとiPhoneとかで使える消しゴムマジックは、リリース当初は従来はPixel 6 Proのレベルだったけど、今はどうなんだろう？どうせクラウド処理なので、Pixel 8 Pro並みになっているんだろうか？