CREATIVE PROCESS #4

小山田圭吾(Cornelius)の新曲「AUDIO ARCHITECTURE」を体感するアプリ「JIDO-RHYTHM」ができるまで:辻川幸一郎、北千住デザイン & 中村勇吾

クリエイティブディレクターの馬場鑑平が、クリエイターたちの創作の秘密に迫る連載の第4回。今回は、馬場自身も参加した展覧会『AUDIO ARCHITECTURE:音のアーキテクチャ展』と、そこに出品した作品「JIDO-RHYTHM」について、制作の過程を振り返った。「JIDO-RHYTHM」は映像ディレクターの辻川幸一郎を中心に、プログラマーとして〈北千住デザイン〉の渡邊敬之、プロデューサーとして〈バスキュール〉の馬場が関わったアプリ作品。そもそもこのチームが生まれたきっかけが、本連載の第1回で馬場が辻川に取材をしたことだという。展覧会ディレクターの中村勇吾を交えて、4人での対談が実現した。

Direction by Kampei Baba
photo by Koichi Tanoue
Edit & Text by Yuka Uchida

右から、展覧会ディレクターの中村勇吾、映像ディレクターの辻川幸一郎、プログラマーの渡邊敬之、〈バスキュール〉の馬場鑑平。『AUDIO ARCHITECTURE:音のアーキテクチャ展』が開催中の六本木〈21_21 DESIGN SIGHT〉にて。

音楽をどうデザインするかという問題

馬場 いつもこの連載では聞き手に徹しているのですが、今回は僕自身も展覧会に参加した作り手のひとりなんですよね。ただ、最初は客観的なスタンスで、『AUDIO ARCHITECTURE』展の全体コンセプトから紐解いていきたいと思っています。展覧会ディレクターを務めたのは中村勇吾さんですが、中村さんはいつ頃から展覧会の企画を考え始めていたのでしょうか?

中村 21_21 DESIGN SIGHT(21_21)から話をもらったのが去年の今頃だったと思います。同施設は日本で唯一のデザインミュージアムを目指して生まれたスペース。さまざまなジャンルのクリエイターが、ディレクターという形で携わっていて、デザインについて多様な角度から考える企画展を開催しています。そんなスペースで、次の展覧会を提案する立場になったので、それならば、今までやっていない「音楽のデザイン」というテーマはどうかと思ったんです。

馬場 その段階では「アーキテクチャ」という言葉はまだなかったんですね。

中村勇吾 1970年奈良県生まれ。ウェブデザイナーであり、インターフェースデザイナー、映像ディレクターとしても活動。多摩美術大学教授。ユニクロのウェブディレクションや、NHK Eテレ「デザインあ」のディレクションなども手がける。

中村 そうなんです。でも、「音楽のデザイン」というテーマは、具体的に考えていくとすぐに行き詰まってしまった。とにかく「音楽」は定義として広すぎる。それならば、リズムだけに絞った「リズム展」というアイデアはどうかと思って膨らませていっても、考えを進めると、それでも定義が広すぎるように思えてくる。結局、デザインを通して音楽を学ぶといった企画は無理があるんじゃないかと考えるようになっていったんです。それならばと思いついたのが、あるひとつの音楽をモチーフにして、それを他の表現方法で表すという構成。音楽とその他の分野の関係性に焦点を当てて、映像以外に、彫刻や平面などのジャンルも加えるイメージでした。

馬場 なるほど。中村さんの頭の中で企画を練っている時は、そんな方向性もあったんですね。

中村 そうですね。そうこうして悩んでいるうちに、ある日、立ち読みしていた雑誌に「オーディオ・アーキテクチャ」という単語を見つけるんです。それについては、ディレクターズ・メッセージに書いた通りですが、「いいじゃん! これだ!」って。すぐにタイトルが決まりました。

『AUDIO ARCHITECTURE:音のアーキテクチャ展』は、音楽のもつ構造性に着目した企画。ミュージシャンの小山田圭吾(Cornelius)が展覧会のために書き下ろした新曲『AUDIO ARCHITECTURE』を、8組の作家たちがそれぞれの視点で解釈し、映像を制作する / 上画像:本展メインビジュアル(デザイン:北山雅和[Help!])

馬場 「オーディオ・アーキテクチャ」というのは、「音楽の構造性」とか、「音楽の構築性」といったニュアンスですよね。小山田圭吾さんに新曲を書き下ろしてもらうのは、どのくらいの時期に決まっていたんですか?

中村 それは「オーディオ・アーキテクチャ」というタイトルが決まった後ですね。音楽の構築性を表現してくれるようなミュージシャンを考えた時に、正直、他のアーティストの名前が出てこなかった。でも、小山田さんにはこれまでも様々な企画でお世話になっているので、正直また小山田さんに頼ってしまうということに一瞬の躊躇があったんです。でも、やっぱり他に思い浮かばない。それで思い切ってお声掛けしました。

馬場 その後は、参加作家を決めていったという流れでしょうか?

中村 そうですね。その前に、会場構成をインテリアデザイナーの片山正通さんにお願いしています。会場空間はそれなりにイメージできていたんですが、いわゆるメディアアートの展覧会で陥りがちな、無味乾燥なものになってしまうんじゃないかと懸念していました。そこに絶妙な足し算ができるのは片山さんしかいない。結果的に、僕の当初のイメージとは全く違う空間が出現して、すごくいいものになったと思っています。

馬場 当初はどういった空間をイメージしていたんですか?

中村 最初は“全体感”を大切にしていたんです。例えば、天井から垂れ幕的なスクリーンがいくつも掛かっていて、入口から部屋全体を眺めると、垂れ幕のスクリーンに映し出された映像が、あちこちに点在しているような。会場に流れる音楽に合わせて、映像同士でもシンクロ感が生まれるようなイメージでした。

馬場 でも、結果は横長のL字型巨大スクリーンの表裏に映像が流れるものになった、と。

中村 これは片山さんのアイデアで、巨大スクリーンの表面では「時間を8作家で分割」し、裏面では「空間を8作家で分割」している。そのコンセプトの図式が明快で、すごくきれいだと思ったんです。ただ、あまりにスクリーンが大きいので、参加する作家のみなさんは大丈夫かな……という不安はありました(笑)。

会場に設置された巨大スクリーンの前で。奥行きも4.4メートルあり、映像の中を自由に歩くことができる。

辻川 とんでもない比率ですよね。長さ27m×奥行き4.4mって……。でも、勇吾さんからお声掛けいただいたタイミングでは、まだ片山さんのプランも決まっていないし、映像だけじゃなく、彫刻など立体でもOKという状態でしたよね。

中村 まだフワフワしていたんですよね。なので辻川さんとは最初、展覧会の構造を相談するような意味合いでお会いしたような気がします。

辻川 そうですね。

中村 当初はグラフィックデザイナーに何らかのビジュアルをお願いしたり、現代アーティストに音楽を立体化してくださいといったオーダーをしたり、ふわっとしたことも考えていたんですけど、それだと頼まれた方もしんどいだろうなと。音楽を何か別のもので表現するって、雲を掴むような感じじゃないですか。

馬場 音楽は時間軸で表現するものなので、時間の概念を持たない静的な作品は、ちょっと辛いのかもしれませんね。やっぱり時間軸がある表現のほうが相性がいい気がします。

中村 そうなんです。静止画的な作品と映像作品が並列して展示してあると、やっぱり映像作品が勝ってしまう。映像と音楽は時間軸がぴったりシンクロしますから。ならば、やはり映像だけでやろう! と構造がまとまりました。

映像作品におけるフレームの考え方

馬場 辻川さんは、中村さんのコンセプトを最初に聞いたとき、どんな印象を持ちましたか?

辻川幸一郎 1972年生まれ。映像作家。CM、ミュージックビデオ、ショートフィルムなど、さまざまな映像作品を制作。webやグラフィックなどにも関わる。コーネリアスの一連のミュージックビデオ作品で知られる。

辻川 最初に気になったのは、ミュージックビデオを作るのと何が違うのか? ということでした。もしこの展覧会の構造を「8組の作家にミュージックビデオを作ってもらって並べる」と言い換えることが可能だとしたら、それってそんなに面白いことなのかな? と。音楽の構造を映像化するとなると、みんながみんな、オスカー・フィッシンガーのようになっちゃうんじゃないか? とか。そんな率直な疑問を勇吾さんにぶつけた記憶があります。

https://vimeo.com/205821854

Oskar Fischinger「Study No.6」(1930)

中村 作品を映像のみにしようと思った時、僕も最初に懸念したのがそのことだったんですよね。ミュージックビデオ大喜利みたいなのになる恐れがあるな、と。でも、21_21の空間だからできることを突き詰めて考えていけば、そこは回避できるんじゃないかと、ぼんやりとした希望は感じていました。

辻川 音楽を構造として捉えたミュージックビデオをつくるというのは、僕が普段から仕事でやっていること。だから、その切口だけでは新鮮味が持てなかった。なので「映像を展示する」「映像のフレーム」ということをもう一度考え直してみようと、自分なりのテーマを掲げて進めていきました。つまり、絵画で言えば「額」、彫刻で言えば「台」の部分に値するものがキモになるような映像作品にしようと。その時点ではまだ片山さんのステージ案が決まっていなかったので、自分なりに今回の映像における「額」を考えて企画を練りました。

馬場 辻川さんと渡邊敬之くん、そして僕が共同で作った「JIDO-RHYTHM」は、映像のフレームを考えるところからスタートしているんですよね。もちろん僕は理解しているんだけど、もう少しこの「フレーム」の話を振り返って聞いてもいいですか?

会場ブースにおいて「JIDO-RHYTHM」を体験することができる。

「JIDO-RHYTHM」のアプリをダウンロードすると、自撮りMVが録画できる。

辻川 映像の「フレーム」の内訳は、サイズ、メディア、鑑賞者との関係、です。まず今回は小さなサイズのスマートフォン画面を選択しました。スマホの小さな画面を集中して覗き込む感じは、家やイヤホンで音楽を聴く感覚と親和性が高い。さらに音楽と映像を感覚的に繋ぐために、音楽を聴きながら、同時に映像を撮影して、鑑賞者が個々にミュージックビデオを作るシステムを考えました。

何よりスマートフォンは、最も観られている映像メディアでもある。スマホ映像という日常の光景が、音楽にシンクロしてリアルタイムに変形する。これは僕がこれまでコーネリアスのミュージックビデオで描いてきた、白昼夢や幻覚的なイメージの新しいアプローチになっています。また、鑑賞者の数だけ作品が立ち現れ、SNSなどでシェアされる。生成、増殖する映像という点もポイントです。

馬場 そこで辻川さんは、スマートフォンをフレームとして使う=アプリを作って、それを作品として発表しようと考えた。それで、会場ではそのアプリで撮った映像を流そうと思ったんです。では、どんなアプリにするか。最初は2つアイデアがあったんですよね。

辻川さんによる「企画A」案

辻川 そうそう、ボツになった「企画B」というのもあって、建物にカメラをかざすと、壁や床、机なんかに文字やビジュアルが浮かび上がってきて、曲に対するリアクションが生まれていくというもの。スマートフォンを使って風景を異化する幻覚を見せるというか。勇吾さんも馬場さんも乗ってくれなかったんだけど(笑)。

馬場 この案は中村さんもご存知だったんですか?

中村 はい、見せてもらいました。辻川さんは、お声掛けした作家さんの中でも、かなり早い時期に企画を上げてきてくれたんです。それで安心したんですよ。この展覧会がどこに着地するか不安もあったんですが「よし! これでひとつ形が見えたぞ!」って(笑)。

辻川 この案を勇吾さんに伝える直前に、片山さんから会場構成の案が届いたんですよね。まさかあんな特徴的なスクリーンとは思っていなくて(笑)。僕の考えていたフレームは巨大スクリーンとは対照的な、小さなスマートフォン画面をベースにしていたので、どうしようか一瞬迷いました。でもある意味、展示に奥行きが出るので、こういう考え方の作品もあって良いのでは無いかと。巨大スクリーンでは、沢山の体験映像を分割画面で展示する事にしました。僕としては今回の展示会場と外の世界を積極的に結ぶような作品にしようと。作品を小さくして、外に持ち出してもらう感じ。

中村 ありがたいです。辻川さんはきっと、何か違うことをしてくれるんじゃないかと思っていたんですよね。でも、正直お声がけするか一番迷ったのが辻川さんでした。コーネリアスといえば辻川さんですし、そこは切っても切り離せない関係。冒頭で話したように、辻川さんにとっては普段の仕事でやってることだから、それを頼んだところでどんなものが生まれるんだろうって。でも見事にいつもと全然違うことをしてくれました。

エンジニアは俳優のようなもの。得意分野を引き出してあげるといい

辻川 2つの案は馬場さんや渡邊くんにも見せて意見をもらったよね。

馬場 そうでしたね。

辻川 インタラクティブなことは馬場さんのほうが詳しいし、渡邊くんは技術的な面から意見をくれた。iPhoneXに搭載されている機能であれば、いろいろできるんじゃないかってことだったよね。

渡邊敬之 1981年生まれ。プログラマー。〈バスキュール〉勤務時代から、Flash/WebGL/Unityなどのツールを用いてインタラクティブコンテンツを制作。現在、〈北千住デザイン〉として独立し、活動の幅を広げている。

渡邊 建物にカメラをかざすという案(「企画B」)は、実は難易度の高い技術なんです。会場に限定して使用するならいいんですが、あらゆる人が、あらゆる場所で使うことを想定すると難しい。

中村 確かに。技術的な難易度が高いよね。

辻川 一方で世の中には顔で遊ぶアプリは数多とあるので、自撮り案(「企画A」) もそれらとどう差別化するか、最初から課題になっていましたね。両案ともにやりたいネタがあって迷ったのですが、音楽を聴く自分を観る、という方が没入感もあって強いと思い、自撮り案に決定しました。自撮りアプリの既視感は、世界観の描き方で独自性を出す事にして。その世界観を共有するために、ミュージックビデオを作るときと同じステップで、まず僕が絵コンテを描きました。

辻川さんによる絵コンテ(一部) #1

辻川さんによる絵コンテ(一部) #2

辻川さんによる絵コンテ(一部) #3

辻川さんによる絵コンテ(一部) #4

中村 うわぁ! この資料があると作りやすいだろうね。ちゃんとルールを提示してくれてる。

馬場 そうですね。世界観はこの段階である程度、理解できていたと思います。

辻川 さすがに、これだけ大量のネタを形にするのに、共有イメージがはっきりしていないと、渡邊くんもやりづらいだろうと思ったんですよね。撮影をする場合は、あえて手描きのラフな絵コンテにしておいて、現場でアングルなどを探る方が映像が良くなるのですが、今回はCGベースで制作時間も限られているので、デザインや色も一旦はここで決めています。ここから渡邊くんの解釈や、実制作しながらのアレンジ、提案を加えてもらいました。

中村 話が戻りますが、〈北千住デザイン〉の渡邊さんをチームに入れようというのは、馬場さんのアイデアなんですよね?

馬場 渡邊くんはもともと、僕が所属する〈バスキュール〉にいたんですが、その時から歪みフィルターなんかを使って面白いプログラミング表現をやっていたんです。だから辻川さんの感性ときっと合うだろうなと思って。

辻川 渡邊くんが提案してくることが、ことごとく自分のツボだったんですよね。あとは、北千住デザインのサイトを見て、渡邊くんの得意な表現を汲み取りながらコンテを組み立てている部分もある。基本的に、作り手は役者さんのようなものと思っていて、癖や得意なことがあって、この人がやるとすごく艶が出るみたいな表現がそれぞれにある。キャスティングした以上はその人のパフォーマンスが上がることを見つけて取り入れていくのが大事だと思っています。

3次元CGを使った“ゆるい表現”の面白さ

中村 渡邊さんがこれまで作ってきたのは、例えばどんな作品なんですか?

渡邊 ホームページにいろいろアップしているんですけど、「JIDO-RHYTHM」に近いものだと、これです。音楽に反応して街なかに出現した3Dオブジェクトが歪みます。

BRDG#7でのVJの様子。3Dオブジェクトが音に合わせてリアルタイムに変形している。

渡邊 僕がやっているのは、プログラミングを用いてリアルタイムにビジュアルを作り出すというものなのですが、「クリエイティブコーディング」とか「ジェネラティブデザイン」とか呼ばれています。しかしながら、パーティクルや線のようなシンプルなオブジェクトを使って画作りをすることが多く、誰が作っても、見た目が似通ってしまうことが多いんです。この作品を作ったのは、クリエイティブコーディング的なリアルタイムCGと実写を組み合わせることによって、オリジナリティのある画づくりが出来ないか、という実験でした。

またVJって長い時間やることが多いので、背景と3Dオブジェクトの組み合わせによって無数にバリエーションが作れるんじゃないかと思ったんですよね。これは2年前くらいに作った作品で、実写部分はリアルタイムではなく、あらかじめ撮ったものをCGソフトでトラッキングしています。なのでARとは言えないかもしれませんが、ARを意識して作っていました。

それで去年、iOS11から〈ARKit〉というのが搭載され、ARが手軽に使えるようになったんです。なので、いつか使ってみたいと思ってました。

ARKitを使って平面をトラッキングした例(渡邊敬之)

10年ぐらい前にも一度、Webのクリエイティブ界隈で、ARが流行ったんですよね。でも、当時はまだハードもソフトも追いついていなくて、マーカーが必要だったし、15fpsぐらいのカクカクのアニメーションが作れる程度だった。それが〈ARKit〉では、マーカーレスで、60fpsでて、圧倒的に進化してて。

中村 補足すると、〈AR〉つまり〈Augmented Reality(拡張現実)〉というのは、現実の風景の座標情報を取得するってことなんですよね。例えば、町並みにカメラを向けたときに、地面は平面で、そこに家があると、そこは垂直な壁だとかね。3次元CGって、そういう座標がないと描けないんです。Appleの〈ARKit〉は、それがすごく進化したもの。現実世界にカメラを向けると、ものすごい高速で、ここに地面があるぞとか、ここに顔があって、ここに目や鼻があるぞっていうのが読み取れるんです。

VJとしても活動する渡邊。DJの音楽に合わせた尺の長い映像を作ることも多く、プログラミングを取り入れながら、自然発生的に映像が生まれていくシステムを生み出している。

渡邊 ぼくが面白いと思っているのは、こういうショボいCGと実写の組み合わせの違和感なんです。CGって少し前までは、映画とかCMとか、めっちゃお金をかけて高品質に作るものでしたよね。それが誰にでも使える技術になって、CGの能力があまりない人でも、好き勝手にSNSにアップしたりして、それを日常的に目にするようになった。チープな初音ミクのCGが現実世界に立ってるみたいな違和感のある映像が、Twitterでどんどんリツイートされていたりするんです。

辻川 なるほど。渡邊くんの狙っているARは、実写的な表現を目指したレンダリングを前提としていない。つまり、生っぽいところにゆるいものがポコンと出てくるみたいな方向性なんだね。

渡邊 そうなんです。表現力の上がった〈ARKit〉でそんな画を作りたいな、と思っていたところにちょうど今回のお話をいただいたので、僕としてはすごくやる気だったんです。

辻川 「よし、来た!」って感じだったんだ、本当は。

渡邊 ARもそうですし、顔を歪めたりするプログラムも作っていたので、自分にぴったりだと思っていました!

辻川 渡邊くんはポーカーフェイスなんですよ。そんなふうに思っているとは想像すらしなかった。こんなに熱い流れがあったなんて、今日はじめて知りましたよ(笑)。

馬場鑑平 1976年大分県生まれ。株式会社バスキュール エクスペリエンスディレクター。広告、アトラクションイベント、教育、アートなど、さまざまな領域のインタラクティブコンテンツの企画・開発に携わる。「HILLS LIFE DAILY」のアートディレクターも務める。

馬場 渡邊くんがさっき、「クリエイティブ・コーダー」と言っていましたけど、純粋なエンジニアと、エンジニアリングしながら表現もしたいって人がそれぞれいるんですよね。渡邊くんは後者で、自分のスキルでできることを、今の社会とかテクノロジーの状況を観察しながら、タイミングが揃った時にひょいっと入っていって表現する。そういうチャンスを窺ってる人って、あんまりいない。それが渡邊くんの面白さなんですよね。

中村 確かにそうだね。クリエイティブ・コーダーにも大きく2種類のタイプがあって、ひとつは、さっきのパーティクルを用いるとか、割とコンピュータという素材を素直に謳歌している人。ぼくは割とそういうタイプ。もうひとつは、個人の欲望をぶわっと露出する人で、渡邊くんだったり、今展にも参加してくれている勅使河原一雅さんだったり。馬場さんが所属する〈バスキュール〉という会社には割とそういう人が集まりがちだよね。勅使河原さんも昔、〈バスキュール〉と仕事してたし。

馬場 渡邊くんに声をかけたのは、辻川さんの企画が、世界観を共有できる少人数のチームで作ったほうがよくなると思ったから。あとは、独立した後の渡邊くんが、外からの刺激を求めているように感じたからですね。

「音像」を捉えて、音楽をビジュアル化する

渡邊 制作自体はわりと順調でしたよね。期間がとんでもなく長いっていう以外は。

中村 どれぐらいかけたんだっけ?

渡邊 最初に動画を撮ったのが2月くらいだったと思いますね。

馬場 なので、4カ月間くらいかかっているんですかね。ひとつの作品を4カ月も作り続けられるなんて、人生でなかなかないこと。逆に羨ましい。

● 制作の流れ

2017年
00月   中村から辻川へ出展の声掛け
12月   片山の空間構成がおおよそ決定

2018年
01月   辻川から馬場へ共同制作の誘い
     馬場から渡邊へ声掛け
     辻川より企画A、企画Bの提案
02月   技術検証
03月   ルックの開発
04〜05月 ひたすら演出を制作・確認
05月末  演出部分完成
06月   約100人にアプリを使ってもらい
     会場用映像を作成
     アプリのUI、会場用アプリの制作
     会場用映像納品。アプリ ローンチ
06月29日 展覧会オープン

辻川 技術的にすごくチャレンジングなことをしているわけではないんですよね。どちらかというと、世界観をつくるのが大事。あと、この映像が全体を通して音楽に見えなきゃいけないってことも意識していました。

馬場 世界観の共有としては辻川さんのラフコンテがあって本当にスムーズでした。

辻川 人物に絡むCGの質感は、僕が作った『攻殻機動隊ARISE border:3 Ghost Tears』のエンディングテーマ「Heart Grenade」のミュージックビデオを資料にしました。ロボットアームの周りにCGが浮かぶ設定で、古いCGゲームっぽいものにエラーを加える感じで作りました。今回もその世界観を継承して、クリアにキメ過ぎないというか、質感のあるCGに仕上げたかった。

ショーン・レノン コーネリアス「Heart Grenade」のミュージックビデオより #1

ショーン・レノン コーネリアス「Heart Grenade」のミュージックビデオより #2

でもそういった僕からの提案以前に、もともと渡邊くんがゆるいCGと現実世界が交差するような映像に興味を持っていたとは。その偶然って、制作時に「僕ら似てますね!」って盛り上がるポイントなんじゃないの?ってさっき思いました(笑)。

渡邊 そうですよね……(苦笑)。あとCGのトーン以外で注意していたのは、音をできるだけ可視化すること。辻川さんは何度も「音像を描く」って表現を口にしていました。

中村 「音像」って辻川さんがよく使う言葉ですよね。改めて聞くんですが、「音像」って何なんですか?

辻川 音楽を、日常のものに置き換えたときに、どんな幻覚が見えるかってことかな。音楽がもともと持っている要素ってあるじゃないですか、ビートだったり、楽器の音だったり。そういったものを映像に置き換えるとどう見えるか、みたいな話をするときに、よく「音像」という言葉を使ってます。

中村 この音に対してこういう絵、こういう動き、みたいなこと?

辻川 そうですね。絵に表す以前の、音を構築している要素といったニュアンスもある。もちろん、置き換えたものを音像と言うときもあるんですけど。今回の作品の中で僕が一番気に入っているのは、渡邊くんが提案してくれた顔が揺れる表現なんですよね。僕は音楽を表す時、ビートをちゃんと追うのが好きで、いろんなものをビートに合わせて動かしているんですけど、渡邊くんはビートに合わせて顔を揺らしてきた。これが出たとき、渡邊さんのセンスと僕のやりたいことが、すごくバキッとハマったんですよね。

「立体的に歪むのが素晴らしい」と辻川さん。「映像って2Dにしか曲げられないものだけど、渡邊さんが顔を立体的にスキャンした上で歪ませているからこうなるんですよね。何度見ても見飽きません」

辻川 最初はこの部分、ビートに合わせて顔の周りでボールが跳ねていたんですよ。でも顔の歪みビートが気に入りすぎて、ボールのビートは無くしました。さらに、もう最後までこの顔の歪みでやりきっちゃおう、と。しかし、顔認識を使ったアプリはいろいろあるけれど、誰も自分の顔を変形なんかさせたくないから、この技術があったとしても活かされない。この技術をこういった形で使える場は、今回が最後では(笑)。

渡邊 こういう技術ってアニ文字とかに使われているんですよね。

中村 自分の顔の表情に応じて、猿のキャラの表情が変わるみたいな。

馬場 そうか、自分じゃないモノになるために普通は使うのか。

渡邊 そうですね。顔の部分がトラッキングされて、顔の表情に合わせてメッシュが動くようなイメージ。本来はそのデータを読み取った上で、自分の顔に別の顔、例えばキャラクターの顔なんかを乗っけるんですけど。そこに自分の顔を乗っけて変形させれば、今回みたいなビジュアルになる。

辻川 自分の顔に自分の顔を乗っけて変形させるっていうのが、最高に狂ってるアイデアだよね。

「顔をトラッキングし得られたメッシュ」(渡邊敬之)

「メッシュに顔のテスクスチャをはりつけ歪めている」(渡邊敬之)

制作を導くプロデューサーの仕事

馬場 渡邊くんは、時間があったらもうちょっとここもやりたかったってことはあるの?

渡邊 いろんなエフェクトが顔のまわりに乗っかっていくわけですが、それらをもっとインタラクティブにしたかったです。サビで口を開けると、音符が出てくるという演出はいれているんですが、それと同様に、実写がCGに影響を与える、実写とCGがより密に連動しているような演出をもっと加えたかった。ただ、一つの演出をつくるのに、2、3日はかかるので……。

馬場 それがトータルで40演出くらいある。

渡邊 たとえば顔がトゲトゲになる演出。トゲにする位置の決定は乱数を使えば簡単なんですが、それだときれいな形状にならない。なのでポリゴンの頂点にひとつひとつマークを手作業でつけ、それを動かすようにプログラムを書いています。そんな感じで、演出ひとつひとつに、いい感じで動かすにはどうしたらよいか、ということを検討する必要があって、時間がかかってしまうんです。

トゲにしたいポリゴンの頂点を手作業でマーキングし、絶妙のトゲトゲ具合になるよう計算している。

辻川 演出がすべて完成して、音楽に合わせて流れるようになった後は、最後の仕上げとして色調整もしたよね。一番汎用性が高くて、ちょっとコクがあって、昔っぽいCGにあう色調。

渡邊 Photoshopなどでカラーチャートみたいなものを色補正したのち、それをCGに読み込ませると、その色味になるんですよ。〈LUT〉(ルックアップテーブル)っていうRGB表のようなものなんですけど。いろんなアプリのフィルターを参考にして調整しましたね。

馬場 最後はそういった細かな調整をして、更にアプリとして使いやすさを考えました。例えば、録画ボタンはどのタイミングから出ていて、どんな風に操作できればいいかとか。そうやってアプリが完成して、それを100人以上の人に使ってもらって、映像を録画して、それを会場に流しているんです。

中村 最後になりますけど、今作における馬場さんの関わり方は、プロデューサーということでいいんですかね?

辻川 そうですね。馬場さんが話を通してくれなかったら、渡邊さんを4カ月間も拘束できてないですし、何より、僕のアイデアを一度受けとめて、整理してくれる大事な存在。僕と渡邊くんだけでやったら延々と作ってしまうし、お互い、多分折れちゃう。馬場さんに取材してもらった『あなたがいるなら』ってミュージックビデオにもプロデューサーの貞原能文さんっていう人がいて、その人がかなり重要なポジションなんです。クリエイターは互いに作りたいものを突き合わせていくと、煮詰まることも多いんですけど、そこを整理したり、スケジュールを割ってくれたりする。その意味では今回の展覧会における勇吾さんもすごいと思います。

中村 最後に僕の話ですか。

クリエイターの制作に、いかにプロデューサーの存在が大きいかを説く辻川。

辻川 この展覧会のオープニングの後、小山田くんと話したんです。すごく喜んでいて、勇吾さんは「減らすのが天才的にうまい」と言っていました。プロデューサーの役割の一つに、何をやらないか決めること、があると思います。「これとこれは要らない」って決めることって、ものすごい胆力とセンスがが要るんです。なおかつ「ここの判断は任せるけど、ここだけはこうしてね」と、楔を打つのも大事。建物だったら、それがないとバラバラになっちゃう。例えば今回の会場構成では、巨大モニターがL字に設置されているけれど、アイデア段階では接地部が緩やかにカーブを描いていた。でも、それだと映像を作る側からするとやりづらい。「接続部はL字にしてくれ」と最小限で的確な楔を打つのが、勇吾さんの凄さです。

中村 ありがたいです。そして、最後にいい感じでまとめてくれましたね(笑)。あとはアプリの拡散ですね。急ピッチで頑張らないと。

馬場 そう、それによって完成する作品なので、一人でも多くの人にダウンロードしてもらいたい。このアプリを使うことで、展覧会のために小山田さんが作った曲もフルで聴くことができますし、何より『AUDIO ARCHITECTURE』展のコンセプトを、自分の現実と結びつけて体感できる。その楽しさをぜひ味わってみてほしいですね。


STAFF
展覧会ディレクター 中村勇吾 音楽 小山田圭吾(Cornelius) 会場構成 片山正通(Wonderwall) グラフィックデザイン 北山雅和(Help!) 作品『JIDO-RHYTHM』ディレクター 辻川幸一郎(GLASSLOFT) 作品『JIDO-RHYTHM』クリエイティブ・コーダー 北千住デザイン(渡邊敬之) 作品『JIDO-RHYTHM』プロデューサー バスキュール(馬場鑑平)

profile

iPhoneX専用アプリ「JIDO-RHYTHM」
音楽を聴きながら自撮りをすると、音に連動したエフェクトが重なります。 従来の「音楽+映像」に「聴く人」が加わった、 新感覚のミュージック・ビデオ。ぜひアプリをダウンロードして、あなただけのインタラクティブなミュージック・ビデオを、いろいろな場所や友人と試してみてくださいね。

profile

『AUDIO ARCHITECTURE:音のアーキテクチャ展』
場所 21_21 DESIGN SIGHT ギャラリー1&2(東京都港区赤坂9-7-6 東京ミッドタウン ミッドタウン・ガーデン内) 期間 開催中〜2018年10月14日(日) ※火曜休館 時間 10:00〜19:00(入場は18:30まで) 料金 一般 1,100円 大学生 800円 高校生 500円 中学生以下無料