Googleの「StyleDrop」は文字列から好みのスタイルの画像を生み出せる

配色や陰影、デザインパターンなど、ユーザーが提示したスタイルの中身を的確にとらえた上で、そのスタイルで求められた画像を出力できる「StyleDrop」をGoogleが開発しました。入力された文字列をもとにして画像を生成することは画像生成AI「Stable Diffusion」などでも可能ですが、特定のスタイルに基づく出力は困難でした。「StyleDrop」はこの問題点を克服しています。

StyleDrop: Text-to-Image Generation in Any Style
https://styledrop.github.io/

[2306.00983] StyleDrop: Text-to-Image Generation in Any Style
https://doi.org/10.48550/arXiv.2306.00983

Google StyleDrop generates images from text
https://techxplore.com/news/2023-06-google-styledrop-generates-images-text.html

StyleDropは、テキストから画像を生成できるMuseを利用していて、特定のスタイルに忠実な画像を生成できます。特徴は、モデルパラメーター全体の1％未満というわずかなトレーニング可能パラメーターを微調整することで、新しいスタイルを効率的に学習し、フィードバックによる反復トレーニングで品質を向上させるところ。スタイルのもとになる画像は1点しかなくても大丈夫です。

以下は作例で、左側のオレンジの枠内がスタイルの元になった画像、右側に並んでいるのがそのスタイルに基づいて作られた画像です。これは「水彩画風」。

ゴッホの「星月夜」風

同じくゴッホの「自画像」風

写実的なスタイルだけではなく、こんなシンプルなイラスト調も可能。

木工品風

画像だけではなく、特定スタイルでの文字のレンダリングも可能です。これは先ほどもあった「星月夜」風。

元イラストに観葉植物が描かれていたため、文字の左右に観葉植物が置かれています。

虹色に波打つアルファベット

3Dレンダリング風。「C」にはドアノブがついています。

また、「ドロイドくんの絵柄でいろいろ作ってみた」ということもできます。

なお、開発者らは「個々のアーティストのスタイルを同意なしにコピー可能という潜在的な落とし穴を認識しており、このテクノロジーを利用するにあたっては責任を持った取り扱いを強く求めます」と述べています。