HEXPIXELSの比嘉了とKezzardrixが語る、最先端のVJ表現

音と映像を別の人同士でやるからこその、グルーヴの違いの面白さがある。（比嘉）

—2人はそれぞれどんな経緯で、プログラミングを視覚表現につなげるスタイルにたどり着いたのでしょうか？

神田：僕はもともと音楽をやっていて、ラップトップPCでクラブイベントに出たりしていました。でも、当時のパソコンと音楽ソフトだと、ライブでは予め用意した曲を「ポン出し」する以上のことはほぼできなくて。それじゃ面白くないなと調べていくと、Max/MSP（音楽とマルチメディア向けプログラミング言語）でプログラムを組めばリアルタイムに音をいじれることを知って、始めてみたんです。

そのうちに知人たちから「Max/MSPは映像も扱えるから、VJもできるでしょ？」という感じで頼まれて、映像も始めてみたらそっちの依頼が増えたこともあり、今にいたります。なので最初から「プログラムをやろう！」ではなくて、音楽をさらに面白くするためにプログラムを始めた結果、VJやミュージックビデオ（以下、MV）などの映像表現に進んだ感じです。

左から：比嘉了、Kezzardrix（神田竜）

—比嘉さんの場合は？

比嘉：大学の初年度に、映像、音響など多領域の基礎をまず体験するカリキュラムがあって、僕はサウンドアートが一番面白いなと思ったんですね。その一環で、プログラムを使って音楽を作る授業があって。それをきっかけに、ずっとサウンドアートとソフトウェアアートをやってきて、卒業後も自然な流れで今のような仕事をしています。

当時はコンピュータの性能的に、音楽であればやっとプログラムでリアルタイムに合成できるようになったタイミングで、「これは新しい、やってみよう！」という時期だったと思います。そういう流れとも関係があるのか、我々世代のプログラマー的アーティストは音楽出身者がすごく多いですね。

—HEXPIXLESの特徴は、プログラムによってリアルタイムに生成されるジェネレイティブな映像だと思いますが、その面白さはどんなところにあるのでしょう？

神田：VJでいうと、オーディオリアクティブ（音に反応して映像を生成する表現）は普通にありますが、僕は音楽をビジュアライズするというより、映像が音楽にちゃんと「ノレている」、または両者のノリが共存するみたいな精神で臨んでいます。基本、音楽と映像は別のアーティストが作るわけで、オーディオリアクティブはそこをつなぐものとして意味があると思っている。

比嘉：音と映像を別の人同士でやるからこその、グルーヴの違いの面白さもありますよね。「画の方はこのタイミングでこう変えてくるか」というようなことがあると、音楽と映像の関係がポリリズム（複数の異なる拍子が同時進行で用いられる状態）っぽくなったり、音が鳴っていない時でも映像がリズムを刻むように動いていたりする。

—プログラムに任せる部分と、自らの表現との関係性をどう考えていますか？

神田：まず、オートで動かす映像の面白さもあって、アルゴリズムによって自分も予想しなかったイメージが出てくることがあるんです。プログラムでリアルタイムに生成する映像って、結果がすぐ見られるのでトライ＆エラーの回数をすごく回せる。そこからどんな表現を生み出せるかという魅力はありますね。

一方で、今回共演するDUB-Russell（2018年7月10日渋谷WWWにて開催された『exPoP!!!!! 番外編』で。取材はその数日前に行われた）のように即興性の高いミュージシャンのVJをやる時などは、映像もプログラムの解析に委ねるのではなく、僕ら人間がパラメータをいじって対応していく度合いが高くなる。これはプリレンダー（予め生成された）映像にはできない面白さで、よくいうコンピュータと人間の対話、あるいは両者のハイブリッド的な感覚が、この種の映像を扱う魅力ですね。

比嘉：あともちろん、共演相手がいればその人たちによっても色々ですね。

—たとえば2017年の『SOUND & VISION』で共演したDAOKOさん（参考記事：きのこ帝国、HIFANA、DAOKO、映像と紡いだこの日限りのライブ）と、今回のDUB-Russellとのステージではどんな違いがあるのでしょうか？

神田：DAOKOさんの時は、まず何より彼女の曲と歌とことばがあったので、曲ごとの世界観に一番ハマるものは何かを考えることに集中しました。一方でDUB-Russellはインストだし即興的なので、こちらも普段から誰に頼まれることなく作っていたものを出していく、という作り方もできる。

比嘉：DUB-Russellもプログラムで音を生成して、リズムや構成もライブごとに変わる演奏スタイルです。だからこちらが映像を作り込んでもあまり意味がなくて、現場で即興で合わせざるを得ない。難しさもあるけど、それがハマった時の面白さは大きいですね。

神田：双方が完全に独立した「自由競技」になってしまうと難しいですが、足がかりは保ったうえで、時に離れたり外したりしていく。これは僕と比嘉さんがソロではなく一緒にHEXPIXELSをやる時にも言えることだと思います。

音と画が少しズレてアラが見えたほうが意外とナマ感が出たり、本番よりむしろチューニング中の反応にこそすごく伝わるものが現れたりすることがある。（神田）

—映像表現にプログラムを使うこと、リアルタイムにそれを行うことの魅力と難しさについて、もう少し伺えますか？

神田：本番中にステージ上の出演者の動きを検知・解析して映像に反映することもよくしますが、これは解析のためのパラメータ値が、現場ごとの照明の具合などでかなり変わってくる。リハで対応できればベストですが、本番中にこちらで調整していくこともあります。

比嘉：仕組み的にも、必然的にそうなるよね。

—それでも本番で不測のトラブルが起きた時はどうするんですか？

神田：……祈る（力強く）。

比嘉：十字を切る（笑顔）。

神田：でも、綺麗に上手くいったら全ていいわけでもないのかな？　ということが先日ありました。あるミュージシャンとのお仕事で、リアルタイム解析がすごく綺麗にいって、映像もうまくハマったんです。そうしたら「あれは別撮りの映像を使ったリアルタイム風の演出ではないか」という疑惑がSNSに流れてきた。

比嘉：あまりに綺麗にハマりすぎると、そう見えてしまうことがあるかもね。

神田：たぶんそのミュージシャンの熱心なファンの方だと思うんですが、「だって衣装が少し違うし！」みたいなコメントもあった。いや、そんなことはないです、と（苦笑）。むしろ見る人側が、脳内で何かジェネレイトしてるのかな……。

でも、リアルタイムとは何か？　と考えさせる興味深い出来事でした。たしかに、音と画が少しズレてアラが見えたほうが意外とナマ感が出たり、楽器に反応する映像なんかも、本番よりむしろチューニング中の反応にこそすごく伝わるものが現れたりすることがある。このへんは、難しさと面白さの両方あります。

『exPoP!!!!! 番外編』リハ中のPC画面 撮影：今井駿介

—お話を聞いていると、現場対応の大変さの反面、それができるのはリアルタイム生成映像の使い手がパフォーマー的であることの裏返しで、それゆえの強みも大きいのでは？

神田：それはあります。さっき話した即興的な対応ができるのもそうだし、もっと基本的なことでいえば、いざ現場入りしてステージ後方のスクリーンに映像を打ったら、位置関係的に映像が全然映えないということが割と起こるんですね。でもその時も、（仮装空間上の）カメラ位置を調整するだけで対応できたり、シーケンスの変更で工夫できたりする。

比嘉：たしかに、それがあるから続けてこられた感じはあるな（笑）。

比嘉さんは、スケジュールギリギリまでなかなか映像の中身を作らないんですよ（笑）。インフラの部分をひたすら作り込んでいる。（神田）

—ここで、HEXPIXELSの2人それぞれから見た相棒の印象を伺えますか？

神田：比嘉さんは、この世界では間違いなく日本トップクラスのプログラマーです。無償利用できるものでは世界初、という開発ツールも色々作っていますよね。あと近くで見ていて「マジ？」と思うのは、なかなか映像の中身を作らないんですよ、スケジュールギリギリまで（笑）。じゃあ比嘉さんはそこで何をしてるかっていうと、インフラの部分をひたすら作り込んでいる。

比嘉：フフフ。

神田：たとえば音に同期させて映像で何かする時、既存の音楽ソフトと組み合わせながらプログラムを自作しないといけないことが多いんです。その「橋を架ける部分」を、本番当日の朝まで作っていたりするんです。本番まであと5、6時間というタイミングでその橋を架けて、そこから猛烈な勢いで作った映像がまた格好よかったりする……。

—その仕事ぶりも格好いいですね……「待たせたな」的な。でも現場はスリリングではないですか？

比嘉：たしかに（笑）。なんでいつもああなるのか……テンションの問題もあるのかな。

神田：いや、もの作りが狙い通りにできる環境さえつかんだら、中身はある意味「作るだけ」という考え方があるから粘れるんじゃないですか？

『exPoP!!!!! 番外編』でのVJの様子 撮影：今井駿介

映像表現の流れに神田くん流の理論があって、できたものが実際に効果的に見える。（比嘉）

—比嘉さんは以前、所属していたライゾマティクスを辞められてから、デジタルハリウッドの学生になって3DCGの基本を学んだそうですね。教室で隣に比嘉了がいたらザワつきそうですが……。常に自分のなかにできるだけ取り込んでから最適解を出す、というのが比嘉さん流ですか？

比嘉：自分の進め方としては、映像ならまず「最終的にこれくらいの尺でいい感じのものを作るには、どれくらいの時間と労力がかかるのか」を考えます。今まで使ってきた環境を使えば、これくらいだという保険みたいなものを目安に、そのタイムリミットギリギリまでは、とにかく他の可能性も試し続ける感じですね。

—一方、比嘉さんから見た神田さんは？

比嘉：神田くんは、ふだんのバカ話では気づかないんですが、ものの考え方がすごくロジカル。思考の積み上げ系というか。映像表現の流れもたぶん神田くん流の理論があって、できたものが実際に効果的に見えるんです。

たとえば1時間のショーのVJで、映像がどう移り変わっていくと気持ちがいいか。わかりやすく言うと、最初はスタティックなものにして、それが少しずつ動きを増していく。その動きも、縦横方向から始まって、急に奥行き方向が加わるとダイナミックになるとか。そういう理論立てが下支えするかっこよさは、僕は持っていないものです。

『exPoP!!!!! 番外編』でのVJの様子 撮影：今井駿介　DAIV特設ページで読む「HEXPIXELSが語る、リアルタイムで生成する映 像演出の醍醐味とコンピュータに求めること」

神田：逆に僕は「比嘉さん、この動き一体どうやって作ってるの？」というのがありますよ。頭で考えているだけでは絶対出てこなさそうなものが。

比嘉：僕は一瞬だけ数学を勉強していた時期があるんです。なので、「これをかませると、数学的には間違いだけど面白いかも」という考え方をすることはあります。たとえば現実世界のレンズ映像で、カメラが移動しながらキュッとフォーカスが合い、また移動してフォーカスするという流れがあるとする。でも、これを無理矢理に最短距離で結ぶような計算を3DCG空間でやると、レンズがぐにゃっと曲がってまた戻る、みたいな面白い効果になるんです。

神田：その種の予測を立てながら新しい表現を探しているからこそ、比嘉さんの映像は「予想外」の打率が高いのかもしれませんね。

—比嘉さんは「孤高のプログラマー」的印象もありますが、多くの人にわかってもらえなくても突き進む、という感覚はあるのでしょうか？

比嘉：たしかに、プレゼンとかレクチャーでみんながポカーンとしてしまったことはあります（苦笑）。僕は単純に「役に立つこと」が好きなんですよね。「あっ、これってこうやったらメッチャ使いやすい！」みたいな、地味な部分が。

—それは「橋を架ける」のお話にもつながりそうです。今はポカーンとされていても、後々みんなが使うものになるかもしれない。そういうものを生み出す創造力がある、ということでしょうね。

『exPoP!!!!! 番外編』では、カメラと映像投影のパースペクティブをめぐる試みになると思います。（比嘉）

—今回の『exPoP!!!!! 番外編』では、マウスコンピュータ社のサポートを得て、同社のクリエイター、エンジニア向けPC「DAIV」を複数台使って、いくつかの新しいチャレンジがあるとか。

比嘉：今回やろうとしているポイントは、パースペクティブだと思っています。演奏中のDUB-Russellの2人をカメラ4台で撮るのですが、その映像を普通にステージのスクリーンに映すのではなくて、まず会場である渋谷WWWの実空間を3Dモデル化して、そのCG版の会場スクリーンに、カメラのリアルな映像を映し出す。それを会場に投影するということをします。

デスクトップマシンとして DAIV-DGX775シリーズ（DAIV-DGX755U1-M2SH5）1台、4K対応のノートPC DAIV-NG7620シリーズ （DAIV-NG7620M1-M2SH5-RAW）1台で本番に望んだ。本来ならば負荷分散を考慮して3台を想定していたが2台でも問題なく稼働し、リアルタイムの映像を出力できた。

—リアルなものとデジタルなものが逆転、あるいは入れ子構造になるということですか？

比嘉：そうですね。そのうえで、実際のカメラも、3Dモデルの視点も動いていく。だからカメラと映像投影のパースペクティブをめぐる試みになると思います。

2018年7月10日渋谷WWW『exPoP!!!!! 番外編』本番

神田：さらに2人がそれぞれ作った映像をミックスすることになるのですが、僕が担当するシーンでは、今回ステージで使うDAIVのラップトップを3Dモデリングしたものも映像に登場させて、モニターから三次元の世界に出てきた男が、合わせ鏡のように置いてある別のモニターに入っていく。

この場面は、DAIVが異次元の入り口になる、みたいなイメージも取り入れてみました。DUB-Russellの音楽なら、ある種の破壊的なものや、こういうちょっとヘンなものもいけるだろうという目論見があるので。

比嘉：そういうストーリーとさきほどの技術的な意味づけがつながって、我々のなかでは盛り上がっています。DUB-Russellとは本番で合わせるまで、どうなるかわからないけど、楽しみですね。