新型コロナウイルスの流行によって、世の中のさまざまな「当たり前」が変化した。
創作の現場でも、屋外での撮影に制限がかかったり、発表の場としてオンラインが主軸になったりと、試行錯誤が続いている。しかしその災いは「オンライン演劇」などの新しい表現手法が脚光を浴びるきっかけにもなった。
そんな新しいエンターテイメントを支える技術も、クリエイターたちの想像力と伴走するかのように、進化を続けている。たとえば、スタジオ内であらゆる背景美術の設定を可能にする「バーチャルプロダクション」、ロボットやセンサーを用いた自動撮影システムといった最新テクノロジーは、その例として挙げることができるだろう。
リアルでの活動が制限されるなか、テクノロジーを駆使した制作現場やクリエイターの意識には、一体どのような変化があったのだろうか？ ソニーグループ株式会社（以下、ソニー）が主催したオンライン配信イベント『UNLOCK with Sony』のトークセッションからヒントを探った。
上田慎一郎監督が最新作に取り入れた「バーチャルプロダクション」はどんな技術？
2021年9月23日から26日にかけて開催された『UNLOCK with Sony』。最新技術を活用した配信ライブのほか、AIによる作曲支援、VR空間の没入型コンテンツなど、未来のクリエイションのあり方を垣間見るような複数のトークセッションが組まれ、クリエイターとソニーのメンバーたちが意見を交わした。
「制作現場がとにかく楽しかったんです」と純真な瞳で語ってくれたのは、3日目のセッション『時空を超えた映画制作 Virtual Production』に登壇した、『カメラを止めるな！』で知られる映画監督・上田慎一郎だ。
上田慎一郎監督と、同じく『DIVOC-12』に参加したエバンズ未夜子監督
ぼくは中学生のころから映画をつくっています。例えば、宇宙空間を飛んでいるシーンを撮影したいときは壁に黒い画用紙を貼って足元を映さないことで浮遊しているように見せたり、アナログな撮影では、いろんな工夫をしますよね。バーチャルプロダクションは、そういう原初的な楽しさを思い出せてくれました。
上田監督は、「新型コロナウイルス・ソニーグローバル支援基金」を活用し、12人の監督が10分の短編を制作するプロジェクト『DIVOC-12』に参加。その1篇として制作された新作映画『ユメミの半生』で用いられた最新技術「バーチャルプロダクション（LEDウォール＆ In-Camera VFX）」について、そう語った。
この技術の新しさは、実際にカメラで撮影する映像と、バーチャル空間内の3DCG映像をリアルタイムに合成し、カメラによる視点移動にも対応させた点にある。
撮影カメラが左右に画角を傾けると、背景の3DCGも連動して動き、あたかも「その背景の場所で撮られたような」映像ができあがる。撮影時にライティングや小道具を併用したり、編集段階でVFXなどの効果を加えたりすると、より現実的な描写に近づく。
バーチャルプロダクションを使えば、背景の3DCGを差し替えるだけで、スタジオ内であらゆるロケーションを再現することが可能だ。
たとえば、朝でも夜中でも、夕焼けに照らされたシーンをリテイクできる。時間や天候にも左右されないほか、コロナ禍で移動の難しい状況であっても収録可能なため、映像制作のプロセスを変えうる技術として注目されているのだ。
池袋シネマ・ロサなど実在の映画館内を3D化。いつでも撮影可能に
上田監督はコロナ禍における制作スタイルの変化に「コミュニケーション量の減少」を挙げる。
感染症予防のため、準備段階での顔合わせから慎重になり、食事も黙食、会食も自粛される。「現場ではコロナ対策による予算と時間のコストが増した」という。劇場公開時も舞台挨拶や鑑賞人数に制限がかかる。
コロナ禍による制作環境の制限に対して、バーチャルプロダクションは大規模なスタッフィングで臨みにくい実在の場所を用いたロケ撮影を擬似的に可能にする。今作から一例を挙げると、池袋の映画館シネマ・ロサを3D化して撮影に用いたシーンがある。
実際のシネマ・ロサ内を建築用測量スキャナで計測したデータと、数千枚の写真データを活用する「フォトグラメトリ」技法を組み合わせ、3DCG空間をつくり上げた。この3DCGを用いれば、基本的には好きなタイミングで、あたかもシネマ・ロサで撮影したような映像を制作することができる。
クリエイティブを支える効率面の向上も期待される。『ユメミの半生』の撮影は「約3日間」で終わったが、ロケーションチェンジを含めたカット数は十分に多い。
演者の松本穂香や小関裕太はビデオコメントで「ぎゅっとまとめて撮る良さがあった。バーチャルプロダクションを使用することで、演じている感覚がより強くなり、イメージが実感として持ちやすい。その環境に溶け込むのが楽しい」と語った。
「世界」をスタジオへ持ってくる。バーチャルプロダクションの可能性と課題
今回の撮影にバーチャルプロダクションディレクターとして携わったソニーPCLの越野創太は、プロジェクト始動時を振り返って、「上田監督の頭の中にある空想を現実に取り出そうとしたら、どういった3DCGが最適なのかを考えるところから始まった」と話した。一方の上田監督は、バーチャルプロダクションにどんなファーストインプレッションを抱いたのだろうか。
「映画『DIVOC-12 /ユメミの半生』の1シーンで使われたセットを背景に語る上田慎一郎監督ら
好奇心をくすぐられましたね。現段階のバーチャルプロダクションは、デジタルとアナログを融合させるような技術。最新技術ではあるものの、アナログな「手づくり感」もあり、自分の創作スタイルに合った手法だと感じました。
たとえば、登場人物が森の中を走るシーンでは、映像の前ボケとして小道具の木を人の手で通過させ、なじませる工夫をしました。
グリーンバックを使ってあとから映像を合成するのではなく、LEDモニターを用いることにもメリットがあると感じました。目の前でリアルタイムに擬似的な背景を展開できるから、撮影現場でスタッフのイメージがズレにくいんです。全員が「いまのシーンはいい！」と好感触を共有しながらノっていける。そういう手応えはクリエイティブにとって、すごく大切なものです。
もっとも、バーチャルプロダクションでロケ撮影がすべてなくなるわけではない。越野は「外界では風や光、空中に舞うほこりなど、撮影にはあらゆる自然現象が伴う」と指摘。それらを再現し、映像内に取り込むためにはデジタルな3D効果や映像だけでは、まだたどり着けない領域がある。
たとえば、薪が燃える炎のゆらめきは、わずかな風や人の動きに反応して刻々と変わるが、それらを3DCGだけで表現するのは現時点では難しい。わずかな違和感は視聴者に機敏に察知され、作品への没入感を妨げてしまう。そのように、まだ発展途上段階の技術ながら、さらなる実用化を追い求めるだけのメリットは大きい。
バーチャルプロダクションの技術は、「世界をスタジオへ持ってくる」と表現することもできる画期的なもの。映像業界の今後を担っていく要素になります。
私たちはクリエイターが思い描くストーリーや世界観を技術で実現していきたいし、その制限をもっと外して、自由になる手助けをしたい。いまは美術領域にいるCGアーティストなどともコラボレーションすることで、今後は映像表現がもっと広がっていくでしょう。
越野創太（ソニーPCL）
ライブパフォーマンスを無人カメラで全自動撮影
「ライブ」はコロナ禍で最も転機に立たされたエンターテイメントと言えるだろう。有観客によるリアルイベントのオプション的な位置づけだった「配信」は、パフォーマンスを世界に向けて発信するためのメインの方法になった。現在もリアルイベントを取り巻く環境は、もとの状況に戻ったとは言えない。
そんな状況を好転させ、未来へつなげる技術の開発が、ソニーによって進められている。音楽ライブ配信用の自動撮影システムと「カメラロボット」である。
カメラロボットの実物と映像
イベント3日目のセッション『クリエイターの創造力を解放 新たなライブエンタテインメント』では、maruiroや犬も食わねぇよ。やバケモノバケツ委員会といったソニーミュージックが立ち上げたソーシャルクリエイターレーベル「Be」所属クリエイターによる無観客ライブパフォーマンスが、ソニーの先端技術を使って撮影され配信された。
このシステムでは、演者が身に着けたレシーバーの信号と画像認識技術により演者を自動追尾するとともに、タッチパネルによるディレクターの指示に従って適切な画角を自動でつくり出す。この技術ですべてのカメラが無人化され、別室の配信ディレクターがスイッチングするだけで迫力のあるライブ映像をつくり出すことができる。また、あえてスピード感のある映像演出ができるため、あえて「手ブレ」を追加する機能も備えているという。
このシステムに携わるソニー・ミュージックエンタテインメントの福田正俊は、オンライン配信ライブにおける「2つのハードル」として、「配信コスト」と「視聴者とのコミュニケーション」を指摘しつつ、こう語った。
福田正俊（ソニー・ミュージックエンタテインメント）
現在開発中の音楽ライブ配信用自動撮影システムで目指しているのは、コストカットのためだけに、やみくもに人間の仕事を機械に置き換えることではありません。
現状のシステムでは、あくまで人間が指示を出し、無人カメラはその指示に従って必要な撮影をしているだけ。開発が進み、無人カメラでさらにイメージ通りの撮影が可能になれば、人間はライブの魅力や興奮を伝える「イメージづくり」により集中できます。
また、現在行なわれている無観客ライブの現場は、スタッフと機材だけの空間になりやすく、アーティストにとってパフォーマンスしづらい環境でもあります。無観客ライブでいかにアーティストと視聴者のコミュニケーションを実現し、パフォーマンスのモチベーションアップに繋げられるか。そういった課題をもっと深堀りできれば、今後のライブ配信のあり方をテクノロジーの力で変えていけると信じています。
カメラロボットがステージ上を駆けめぐる
今回の無観客ライブパフォーマンスで使用されたもう一つのテクノロジーが、「カメラロボット」だ。半球状の駆動体にデジタルカメラとそれを支える可動式のジンバルを備えたロボットがステージ上を自走することで、パフォーマンスの遠隔撮影を可能にする。
また、低い撮影アングルを保てる、体力や集中力の限界を気にせず安定して映像を撮り続けられるなど、人間にはできない撮影を実現できる。ソニーグループのR＆Dセンターでカメラロボットのプロジェクトリーダーを務める泉原厚史も、ロボットによって表現の幅や利便性が広がると同時に、将来的には 「人間ならでは」の仕事が際立つと考えている。
泉原厚史（ソニーグループR＆Dセンター）
カメラロボットが高度化しても、現場での瞬発的な判断や、人間の身体でないと撮れない「人間自身にとって納得感のある揺れ」、そして「フォーカスの動かし方」などの高度な表現は残っていくでしょう。それぞれのカメラマンが持つ撮影技術の個性や、アーティストへの思い入れが反映された常識を逸脱した表現も人間ならではと言えます。
今後は、安定した収録をしたい場合は自動撮影、個人のアート性を発揮したい場合は有人撮影、という具合に役割が分かれていくのでは、と想像しています。
ライブ配信の良さは、一人ひとりの反応を聞けるところ
今回の「カメラロボット」と音楽ライブ配信用自動撮影システムによる無観客ライブパフォーマンスに参加したバンド・maruiroのあおいちひろは、リアルイベントと配信ライブの大きな違いを「空間」に見ており、パフォーマンスのときにも心がけているという。
あおいちひろ（maruiro）
フィジカルなライブでは、楽器の生音や周りの人との空気感、さらには「そこに至るまでの手間」があって一緒につくり上げられるもの。その場にいることで、同じ空間を過ごした思い出ができます。そういったフィジカルなライブならではの「良さ」を、配信を通じて違う空間へいる人たちに届けるのは、とても難しいと感じます。
逆に、配信ライブの良さは一人ひとりの反応を聞けるところ。視聴者が手軽に参加でき、初見の方やいつも応援してくださっている方、遠くに住んでいる方、会場に足を運べない方が一緒になってコミュニケーションできるのは配信ならではの良さですよね。
けれど、ライブであれ、配信であれ、ファンの方が大切な時間を使って見てくださっていることに変わりはありません。それも忘れないようにしています。
「その場の雰囲気やノリで誤魔化せない」オンラインならではの魅せ方
左から：完全制覇サスケ、マンモーニ拓磨（犬も食わねぇよ。）
オンラインライブが当たり前になった世の中の先を見据えて、バンド・犬も食わねぇよ。の完全制覇サスケとマンモーニ拓磨は、新しい環境に対応したパフォーマンスの見せ方を意識していきたいと語った。
オンライン配信だと、観客は自宅などのリラックスできる空間で視聴することも多いので、パフォーマンスをじっくり見てもらえる。その反面、その場の雰囲気やノリで誤魔化せない怖さもある。映像に残ることもあって、粗が出ないようにパフォーマンスの精度をより上げて、細部までこだわりを持つような意識に変わりました。
今後、カメラロボットが一般的に使用されていくようになるのだとしたら、ぼくらはそれを前提にしたパフォーマンスに挑戦したいですね。「カメラ目線のアップに対応した表情とは？」とか、そういったことも意識して、オンライン配信ならではの魅力も引き出していきたいです。
同トークセッションの最後にソニー・ミュージックエンタテインメントの福田の口から出た、「新しい時代のエンターテイメントを、クリエイターのアイデアを聞きながら一緒につくっていきたい。すべてをテクノロジーだけで解決できるとは思っていない」という言葉が印象的だった。
テクノロジーをアーティストやクリエイターが使いこなすことで、創作者たちの想像力が解放され、エンターテイメントの可能性が更新されていく──上田監督も最初に紹介したトークセッションで、そんなことを口にしていた。この言葉は、テクノロジーとクリエイターの幸福な関係を言い表しているかのようだった。
デジタル一眼カメラで動画が撮れるようになってから、既存のビデオカメラよりも被写界深度の浅い画が撮れることや、小さなサイズや軽さ、コストの低さが支持されて、一気に映像制作の現場で使われるようになった。その影響で映像づくりのプロセスが変わったし、創作のハードルも下がった。
最新技術を使うことで創作の現場に変化が生まれ、やがて斬新な作品が生まれてくる。新鮮な作品をつくりつづけるために、ぼくもできるだけ長生きしたいですね。
なお『UNLOCK with Sony』で実施されたセッションは、生配信限定でのライブシーンなどを除き、すべてオフィシャルサイトから視聴可能だ。
- イベント情報
-
『UNLOCK with Sony』
2021年9月23日（木・祝）～9月26日（日）にソニースクエアで配信
『作曲家とAIの共創 Flow Machines（Part 1）』
2021年9月23日（木・祝）
出演：
tofubeats
三浦良明（ふたりごと）
Sohbana
『作曲家とAIの共創 Flow Machines（Part 2）』
2021年9月23日（木・祝）
出演：
MONJOE（DATS）
iLY（SxS SHIBUYA）
『仮想空間が拡げるクリエイティビティの可能性「ソードアート・オンライン -エクスクロニクル- Online Edition」』
2021年9月24日（金）
出演：
落合陽一
三宅陽一郎
天野清之
丹羽将己
二見鷹介
『クリエイターの創造力を解放 新たなライブエンタテインメント』
2021年9月25日（土）
出演：
AMUぷらす弟たっくん
新菜まこ
bake
バケモノバケツ委員会
WHITEBOX
松浦航大
Rabbit Cat
犬も食わねぇよ。
ストイック高校
maruiro
『全方位から音が降り注ぐ、臨場感あふれるライブ体験 360 Reality Audio』
2021年9月26日（日）
出演：村上宣之
映像出演：緑黄色社会
『時空を超えた映画制作 Virtual Production』
2021年9月26日（日）
出演：
上田慎一郎
越野創太
エバンズ未夜子
- フィードバック 4
-
新たな発見や感動を得ることはできましたか？
-
