4 つ目の次元に足を踏み入れる ― Carl Emil Carlsen が Unity でジェネラティブアートを作り出す手法

ビジュアルミュージックを体験したり、バーチャルパフォーマーが観客の中に飛び込んでくるのを見たことがありますか？この記事では、劇場や展示スペースに Unity で生成した体験を投影することで、視聴者の認知に挑戦するデンマークの革新的なクリエイターの仕事の舞台裏に迫ります。

コペンハーゲンの古い教会の地下室にある研究室から、インタラクションデザイナーでありメディアアーティストでもある Carl Emil Carlsen 氏が、従来のデバイスの枠から「生きている」デジタルの形を解放することを好む理由を話してくれました。

「私は、バーチャルな現象と物理的な現象を融合させたインタラクティブな、音響と映像によるイリュージョンを作ることに関心があります。私がデジタルの存在を画面から脱出させるとき、それは海から這い出した初期の生命体のようなものだと考えるのが好きです。テクノロジーの進化とともに、このハイブリッドな空間を形作っていくのはエキサイティングなことです。この分野には、アーティストとして探索するべき新しい道筋が無数に延びています。」

Carl Emil とテクノアーティスト Bjørn Svin 氏との共同プロジェクト『Silicium2』から抜粋したクリップ

Carl Emil のアプローチのうち大きな割合を占める部分は、芸術的な目標を達成するためにテクノロジーをどのように使うかということです。「ツールは私たちの思考を形づくるものなので、私からもツールに影響を与えたいと思っています。Unityはカスタマイズ性が高く、さまざまなフォーマット、メディア、コンテンツの種類を簡単に試すことができるので、このアプローチを可能にしてくれます。」

また、彼は孤独に仕事をしているわけではありません。「これまでのキャリアを通して、私は何かを学べるプロジェクトを選ぶようにしてきました。自分をどこか新しい場所に連れて行ってくれるようなチャレンジを見つけようとしてきました。その道のりの中で、私は幸運なことに、幾人かのとても高い技術を持つ人たちと共に仕事をする機会に恵まれ、そしてそこから多くのことを学ぶことができました。」

Carl Emil がジェネラティブアートを作るために使うツールの一部。もちろん濃いコーヒーは欠かせない

Unite Copenhagen での講演の中で、Carl Emil は、物理的な空間とバーチャル空間を混ぜ合わせることに興味を持ったことが、デンマークはヘルシンゲルの The Culture Yard にあるライブステージ「4D Box」を考えるきっかけになったと指摘しています。「私を興奮させたのは、大観衆に対してホログラムのようなイリュージョンを作り出すことができる可能性があることでした。」

この舞台は、150 年以上前に流行した錯視に基づいています。John Henry Pepper は、大きなガラスとランプを使って、隠れた役者を劇場の舞台に映し出し、幽霊のように見せることで、ロンドンの演劇通を魅了しました。後にこの技法は、「ペッパーの幽霊（Pepper's Ghost）」と呼ばれています。

4D Box は、この技法をパッシブ型の立体視 3D システムを使って拡張したもので、3D グラスを装着した観衆にバーチャルな小道具や空間演出を体験させるというものです。このプロジェクトのための視野角とコンテンツのスケーリングをテストするために、Carl Emil は次のようなの「ペッパーの幽霊」モデルを作成しました（GitHub で公開されています）。

Carl Emil の The 4D Box の舞台のための「ペッパーの幽霊」モックアップ

「可能な限り高品質な 3D 透視を実現するために、アセットストアの OffAxisCamera を使用して、Unity のカメラ投影行列を軸外投影で上書きしました。また、ArtNet DMX の実装で Unity を拡張し、ステージ照明を制御し、バーチャル照明を物理的な照明に合うようにしました。」

パフォーマーの身体を仮想化するために、Carl Emil は Microsoft 社の Kinect センサーを使用し、身体の動きをトラッキングしています。「バーチャルな要素が身体と完全に一致するように、トラッキングを投影を使ってキャリブレーションする必要があります。そして、センサーからの深度画像を使って、俳優の後ろに移動する要素を隠蔽します。」すべてを同期させるために、彼は Unity UI とアセットストアの OSC simpl をベースに Unity で自ら構築したカスタムツール Playhead でアニメーションを処理しています。

Carl Emil によるカスタムツール Playhead の動作画面

彼がこのフォーマットを初めて試した作品は、数年前に Unity Awards の Best Non-Game 部門で入選した『Seasonal Skin』でした。彼はステージをインタラクティブなインスタレーションとして使用し、観客がバーチャル衣装を身にまとう体験を楽しめるようにしました。それ以来、彼は様々な 4D Box 作品を制作し、新しいテクノロジーや Unity の機能が出てくるたびに実験を行っています。

ジェネラティブアートを実写のパフォ―マーに乗せる作品の中では早期のものとなる『Seasonal Skin』。Carl Emil は Unity を 2006 年から（バージョン 1.4）から使っている。

『Seasonal Skin』プロジェクトから間もなく、Carl Emil はデンマークのテクノアーティスト、Bjørn Svin とビジュアルミュージックデュオ「Silicium」をスタートさせました。彼らは共に、ライブパフォーマンスにおける音響と映像、および人工的なものと有機的なものとの間のインタラクションの創造に焦点を当てています。これまでに 4 つの 4D Box 作品を制作し、最新作はオーストリアのリンツで開催された「Ars Electronica」で上映されました。Carl Emil によると、「コアコンセプトから始まり、リアルタイムな人工素材を並行して開発し、首尾一貫した音響と映像の世界を目指しています。ゲームデザインをする方法にもいくらか似通ったところがあるアプローチです。」

昨年、Silicium は、映画のような 2D のセットアップをベースにした、ツアーに使いやすいフォーマットによるビジュアルミュージックのコンサート『Primordial』を制作しました。この作品は CPH:DOX で初演され、最近ではスロバキアのコシツェで開催された Art & Tech Days でも上映されました。

Silicium の『Primordial』プロジェクトで使われたジェネラティブアート

『Primordial』のアニメーションの大部分は Playhead を使って Carl Emil が制作していますが、いくつかのパラメーターは Durga という、これも Carl Emil が Unity を使って作ったマルチタッチ GUI を使って、現場でコントロールしています。Durga では、音楽からの影響と様々なランダムな振る舞いを即興的に混ぜ合わせることができます。バーチャルカメラは 3DConnexion Space Navigator を入力デバイスとしてフリーハンドでコントロールされており、アセットストアにある無料の SpaceNavigator Driver を使って統合されています。

Carl Emil は、彼の実験的な作品の核となっているジェネラティブアートを統合するために、Unity で特殊なグラフフレームワークを開発しました。これは主に様々な ComputeShader パス間の ComputeBuffer の経路制御を行います。グラフ UI は UIElements で構築されており、Unity ユーザーが自分自身のニーズに合わせて構築できる特化したグラフツールの一例となっています。

『Primordial』のビジュアルシミュレーションの設定を Unity 2019.3 で表示したところ

商業方面でも Carl Emil は実験の才能を発揮しています。食肉生産に使用される抗生物質の量を減らす製品を宣伝しているスウェーデンの Perstorp 社に声をかけられ、彼は薬剤耐性菌への意識を高めるためのインタラクティブな展示会のデザインを主導しました。

「このプロジェクトでは、Unity を実行している 1 台のマシンで 6 つの HD プロジェクションに対してレンダリングを行い、そのうち 5 つは典型的な VR 洞窟の設定でレンダリングを行いました。レンダリングは HD レンダーパイプライン（HDRP）で行い、インタラクティブではない部分については、アセットストアの AVPro Video を使用して HAP コーデックのビデオを再生しました。」

彼はスウェーデンの森の環境を構築しましたが、これは主に Unity の Demo チームによる無料の『Book of the Dead』のアセットをベースにしたもので、Sidsel Sørensen 氏と Maya SB. 氏によるイラストの背景として使われています。ナレーションとサウンドデザインは Simon Kirk 氏が担当し、ハードウェアのセットアップは、Carl Emil 氏の仕事場をホストするライトアートスタジオである Vertigo 社が担当しました。

Carl Emil は 6 台目のプロジェクターを観客に向け、特別なサプライズを仕掛けました。バーチャル細菌がスクリーンと空間の境界を越えて人間の領域に入り込み、薬物耐性菌の引き起こす問題がどのようにして個人的な問題になりうるかを観客に思い起こさせたのです。

「生きている」バーチャル細菌などのシーン例

Carl Emil は「スクリーンのない」作品以外にも、インタラクティブデザインとメディアの経験を生かして、数々の興味深い小型スクリーンを使ったプロジェクトに取り組んできました。「コンセプト開発の初期段階から関わり、インタラクティブな要素をプロトタイピングして製品がどのように感じになるかを探っていくのが好きです。」

例えば、ustwo（『Monument Valley』の制作元）では、LEGO や Hasbro 向けの AR プロトタイピングに携わっていました。Hasbro 向けのプロトタイプは、後に「Play-Doh Touch」という玩具製品になりました。この製品のプロトタイプでは、アセットストアで提供されていた OpenCV 統合を使用して、プレーンな Play-Doh の画像をプロシージャルに変換してリグ付きの 3D キャラクターに変換しました。

Play-Doh をリグ付きの AR プロトタイプに変換する様子

「The Culture Yard とは引き続き一緒に仕事をしています。彼らは現在、個人情報と人工知能（AI）に関する、4D Box での新しい劇場パフォーマンスを制作しています。近く開催される Click Festival でプレビュー版を上演する予定です。」

この作品のために Carl Emil は、アーティストの Cecilie Falkenstrøm 氏と彼女のチームが作成したチャットボット AI のビジュアライゼーションを含む、インタラクティブグラフィックスの開発を行っています。「AI は俳優や観衆と会話をしながら、一直線ではない物語を展開し、私たちの情報がどのように収集され、どのように利用されているかについて、洞察を与えてくれます。この作品が、詩的かつ感覚に訴える形で、観衆に問題意識を残してくれることを願っています。」

4 月には、Carl Emil は台湾の Very Theatre と The Culture Yard がプロデュースする、さまざまな文化からの要素を盛り込んだ 4D Box 作品『Chronicle of Lightyear』のツアーで台湾に赴く予定です。

Carl Emil によれば、ジェネラティブアートやジェネラティブグラフィックスの分野に関心のある方は、Catlike Coding によるチュートリアル（Patreon はこちら）を見てみると良いとのことです。また、東京を拠点に活動するエバンジェリストの高橋啓治郎氏が公開しているサンプルもチェックしてみてください。この分野について Unity コミュニティで何が話題になっているかを調べるには、Carl Emil がモデレートしている Audiovisual Unity の Facebook グループに参加されるのも良い方法です。また、Carl Emil の活動を Twitter でフォローしたり、彼のウェブサイトで他のプロジェクトをチェックすることもできます。