画像生成AI “Stable Diffusion”を用いた展示システム

画像生成AI “Stable Diffusion”を用いた展示システム

実験的に、画像生成AI、Stable Diffusionを使って、画像を生成→約3分間ディスプレイに表示(うらで次の画像を生成)→画像データを消去→次の画像を表示するという、画像生成ロボットを作って、展示しました。現代美術に携わる人間として、基本的にAIには懐疑的です。ただ、AIの流れは止められないだろうという思いがあり、この仕組みを作ってみて、分かったことが多くあります。AIがゼロから作っている訳ではないこと、現段階のAIとは人類が経験したことのない壮大なパクリであること、著作権上、多大な問題があるのではと感じること、AIは生物ではないので生物を描かせるとかなりの確率でキモいことなどが分かってきました。今後、数年で目覚ましい進化を遂げると思われますが、今のところ、このシステムの唯一の取り柄は、ロボットのように文句も言わずに延々と画像を生成し続けることなので、画像を生成させては表示して、表示したあとは3分で地球上からデータが抹消されるという仕組みにしました。キモい画像は生成されないようプロンプトを調整しています。

画像生成AIを用いた展示システムの機材等は以下の通りです。

画像生成用PC: Galleria RM5C-R36 / Windows10 / Core i5-13400F / GeForce RTX 3060 12GB / Memory 16GB

表示用PC: Apple MacMini / 3 Display

この展示システムは、BAR 崖と階段で展示しています。(2023年4月現在)

20230403_215002

VR上での展覧会公開

作成した3DデータをVR上の展覧会として公開する

Step3で作成したデータを誰もがVR上で閲覧できるようにし、VR上の展覧会として公開します。ここで公開しているものはテストデータですが、PCやVR上で作品を制作する、もしくは実作品を3Dスキャンし、鑑賞に堪えうる緻密な3Dデータを制作することで、VR展覧会として成立し得ると思います。ここでは、実際に公開した3DデータをVR上で観覧しているところまで動画で紹介しています。また、公開した3Dデータは誰でも閲覧可能ですので、VRヘッドセットをお持ちの方は、ご覧ください。

作業手順は以下です。

1. VR上(Oculus Quest 2)の Gravity Sketch で作成した3DモデルをOBJファイル形式でエクスポートする
※保存場所はクラウドを選択
2. PC上のブラウザで landingpad.me にアクセスし、先ほどエクスポートしたOBJファイルをPCにダウンロードする
3. Sketchfabをブラウザで開き、ログイン
4. 先にダウンロードしたOBJファイルをSketchfabにアップロード
5. スケール調整などを行い、公開(URLを取得する)
6. VRヘッドセットでブラウザを開き、上記で取得したURLにアクセス

この手順で、VR上で作成した3Dモデルの展覧会を公開することができます。VR上での閲覧は、以下のURLを開くだけで観覧が可能となります。

VR展覧会(公開3Dモデル1)
https://skfb.ly/6Z6Ys

VR展覧会(公開3Dモデル2)
https://skfb.ly/6Z6YC

企画段階におけるVRの活用 – Step4-A

Step4-A – VRで作成した3DデータをPC上で見る

Step3で作成したデータをPCでも見れるようにします。常にVRを使用し、3Dデータを見ても構いませんが、VRヘッドセットを見るたびに装着しなくてはいけないのも面倒なので、PC上でも簡単に見れるようファイルをエクスポートし、Windowsの3D Builderに取り込みます。作業手順は以下です。

1. VR上(Oculus Quest 2)の Gravity Sketch で作成した3DモデルをOBJファイル形式でエクスポートする
※保存場所はクラウドを選択
2. PC上のブラウザで landingpad.me にアクセスし、先ほどエクスポートしたOBJファイルをPCにダウンロードする
3. 3D Builder(Windows)を立ち上げ、ダウンロードしたOBJファイルを開き、3Dモデルを3D Builderにインポート

この手順で、PC上でも容易に作成した3Dモデルを閲覧、編集することができます。

 

企画段階におけるVRの活用 – Step3-B

Step3-B – 作品などの展示物をVR上の展覧会場に配置する(VR上で作成)

 

Step2でVR上に取り込んだ展覧会場に、作品などの展示物を配置し、どの場所にどの作品を配置すると、どう見えるのかなどを検証します。Step3-Aでは、あらかじめ作成した作品データをインポートし、配置しましたが、Step3-Bでは、VR上でボリュームを作成し、配置していきます。複雑な形状の展示物をVR上で作成することも可能ですが、作業に時間がかかることと、企画検討段階では、おおよそのボリュームの配置が確認できればよい場合も多いので、そのような場合を想定しての作業です。

 

企画段階におけるVRの活用 – Step3-A

Step3-A – 作品などの展示物をVR上の展覧会場に配置する(オブジェクトインポート)

Step2でVR上に取り込んだ展覧会場に、作品などの展示物を配置し、どの場所にどの作品を配置すると、どう見えるのかなどを検証します。実験なので、ここでは本物の作品ではなく、作品のような立体物をあらかじめ用意し、インポート、VR上の展覧会場に配置していっています。作業時間20分程度。

展覧会場が大きい、作品が複雑などの場合は、より多くの時間がかかると思います。ただ、企画段階では、この程度のボリュームの作品が、この場所に展示されるとど海得るのか、全体のバランスや見え方がどうなるのかという点が気になることがあり、作品の細かなところまでVR上で表現できていなくても、こういう具合に見えるのか、ここじゃなくて、こちらかなという判断をVR上で確認できるという点で、非常に役に立つツールと考えられると思います。

 

企画段階におけるVRの活用 – Step2

Step2 – 3DモデルをVR上に取り込む

Step1 で作成した3Dモデルを、VR(Oculus Quest 2)に取り込みます。Step2以降は、すべてOculus Quest 2を装着し、VR上で作業しています。使用するソフトは、Oculus Quest 2のアプリストアからダウンロードができる Gravity Sketch です。作業時間は5分程度です。作業手順は以下。

1. Oculus Quest 2を装着し、Gravity Sketch を立ち上げる
2. Step1で作成した展覧会場の3Dモデル(OBJファイル形式)をインポートする

スケールを1:1にすることで、展覧会場をVR上で原寸で見ることが可能になります。その後、位置、照明方向、色などを調整し、見えやすくしています。

 

企画段階におけるVRの活用 – Step1

Step1 – 展覧会場の3Dモデリング

VRで展覧会場を見ることができるようにするために、最初にPC上で、展覧会場の3Dモデルを作成します。今回作成したのは、このリサーチのために作成した、架空の展覧会場です。作業手順は以下。作業時間10分程度で作成しています。

1. 図面データ(DWG)を3Dモデリング・ソフトに取り込み
2. 3Dモデリング・ソフト上で、壁、床、天井などを作成
3. 完成した3Dモデルを OBJファイルでエクスポート
※VR上で使用するGravity SketchがOBJファイルでのインポートが可能なため
4. PC上で、landingpad.me にアクセスし、 OBJファイルをアップロードする
※landingpad.me にファイルをアップロードすることで、VR上のGravitty SketchからOBJファイルをインポートできるようになります

この後、VRヘッドセットに取り込み、VR上で作業を行っていきます。

 

美術分野におけるVRの活用について

オフソサエティ株式会社では、現代美術を専門とし、展覧会やアートプロジェクトの企画、パブリックアート計画、美術館や芸術文化施設の計画・運営などを手掛けています。以前より、空間のどこに、どのような作品を展示すべきか、その場所に展示した場合に作品はどのように見えるのかなど、企画段階でCG(3Dモデル)を作成し、PC画面上で検討し、企画を固めていくという作業を行うことがありましたが、Oculus Quest 2という3万円台から購入できる安価なVRゴーグルが発売されたことにより、企画段階でのVRの活用や、VR上での展覧会の構築などが可能なのかどうかなど、弊社が手掛ける業務で使用できるかどうか、大変興味を持っていました。Windows 10にバンドルされている 3D Builder や Oculus Quest 2上で使用できる Gravity Sketchなどの3Dモデリング・ソフトウェアの無料提供もクリエイティブ分野での3D使用をより容易に、手軽に始められる理由のひとつです。また、360度カメラやジンバル付き小型ビデオカメラなどの製品が4-5万円台の価格で登場したことにより、現実空間で開催した展覧会を360度カメラで撮影し、Youtube VRなどで公開することは可能なのかについても興味を持っていました。このリサーチは、実際にこれらのVRや撮影機器を購入し、企画段階から使用できるのか、業務で使用できるのかを検証し、公開しています。今後、VRや撮影技術などはさらなる発展をしていくと思われますが、このリサーチが弊社だけではなく、美術関係の方々にとっても参考となれば幸いです。

今回のVRに関するリサーチで主に使用した機材は以下の通りです。

使用機材

  • FormZ – PC上での3Dモデリング・ソフトウェア
  • Oculus Quest 2 – VR ヘッドセット
  • Gravity Sketch – VR上での3Dモデリング・ソフトウェア
  • 3D Builder – PC上での3Dモデリング・ソフトウェア

20210220_170313-2 20210220_170419-2
Oculus Quest 2

※このVR等に関わるリサーチは2020年10月より開始していましたが、2021年2月に文化庁・文化芸術活動の継続支援事業に採択されたことにより、その助成を使用し実施しています。