メディアテクノロジーと身体

四方　真鍋さんやRhizomatiks（以下ライゾマティクス）は、PerfumeやELEVENPLAY、あるいは脳科学者との実験など非常に多様な活動の中で、とりわけメディアテクノロジーと身体の問題を実践的に追求されてきました。私はそれを、メディアアートにおける「パフォーマンス」「パフォーマティヴィティ」の追求の最前線と認識しています。真鍋さんにとって「メディアテクノロジーと身体」とは、どのような意味と可能性を持つのでしょう？　またご自身の身体（内外）を使ってメディアテクノロジーとの関係を長年追求してこられる中で、現在考えたり行なっている実験や未来への展望について教えてください。

真鍋　ダンサーやパフォーマーとの仕事が多いのは、いろんな表現をやっても結局はそこに行き着いてしまうからです。わかりやすい例でいうと、モーショングラフィックスというジャンルがあるけれど、その究極はダンスパフォーマンスかなと思ってます。音に合わせてどうやって視覚表現をつくるか。ぼくは自分でも少しずつ踊るようにしているけれど、やればやるほどモーショングラフィックスで一所懸命パソコンの中でキーフレームを打っていく作業とか、プログラミングを使って物理演算や数学的なルールでグラフィックを作るのが、実はぜんぜん足りていないんじゃないかと感じるようになる。その代わりにダンサーのモーションキャプチャのデータをちょっと使うだけで、数学的な要素のすべてがそこに入っていたと気づかされる。ぼくはたまたま最初からそういうことに興味があったけれど、でも逆にモーショングラフィックスからはじまっていたとしてもここに行き着いていた気がします。

四方　つまり、単純にデータだけを抽出したりそれを可視化するのではなくて、キャプチャデータそのものに身体的・生態的な要素が入っているということでしょうか。

真鍋　そうですね、地球上でダンスをしたら物理も数学もそこに入りますからね。音と映像の表現に関して言うと、入り口としては人工的に共感覚を作るみたいなことだと思うんです。VJみたいに音と映像が同期していて気持ちいいだけのところから、どうやってその先に行くか。そのことをずっと模索している気がしていて、そのうちのひとつが神谷之康さん（京都大学 大学院 情報学研究科・脳情報学・教授）とのブレインデコーディング技術を使ったプロジェクトです。

ブレインデコーディングとは機械学習や人工知能の技術を応用して、心の状態に関するさまざまな情報を脳信号パターンからデコードする技術で、頭の中に思い浮かべたイメージを外に取り出すことが可能となります。VJや音楽に映像をつける仕事って、音楽を聴いたときのすごく恣意的な直感をコンピュータを使っていかに表現するかが求められる。であれば神谷さんのブレインデコーディングの技術を応用したら新しいアプローチができるんじゃないかと思ってやり始めたんです。

四方　取り組みはじめたのはいつごろのことですか？

真鍋　2014年に神谷さんにインタビューをしに行って、実際に取り組み始めたのは2018年ぐらいですね。ディープラーニングの技術が急速に発達した時期です。

四方　具体的にはどのようにMRIを使うんですか？

真鍋　まず最初にMRIの中に入ってデータを取得します。被験者の脳画像データと、見ていた画像のペアのデータを用意した後、機械学習を用いることでMRIで取得した被験者の脳画像データと被験者が見ている画像の対応関係を見つけることができます。簡単に説明すると被験者の脳画像からどういった画像を見ているかを予測する機械学習のモデル、すなわちデコーダーの学習を行って、その後でその学習済みのデコーダーを使って、学習用の脳画像データとは独立した脳画像データから被験者が何の画像を見ているか予測するという技術ですね。

四方　MRIって寝転んで身体をスキャンする装置ですよね。ずっと横たわっているってことですか？

真鍋　眠ってもいけないし瞬きもなるべくしちゃいけないし、３ミリ以上動いちゃいけないという状態で画像をひたすら見ます。

四方　MRIって音もかなりしますよね？

真鍋　そう、音がちょっとうるさいので特殊なヘッドフォンをつけています。

四方　むしろそのことによって脳の状況が変わっていきそうですけれど。

真鍋　事前準備が必要とはいえ頭の中で想像するだけで情報を取り出せるのはこれまでにない新しい手法だし、音と映像の関係とか視覚と聴覚の関係に対して問題提議をするものだと感じています。

四方　その結果はすでに作品として出されているんでしたっけ？

真鍋 「Sónar」（バルセロナのフェスティバル）などで発表しています。展示もやっていたんですけれど、やっぱりプロセスが面白いのでレクチャーパフォーマンスのような感じにして、前半でブレインデコーディングのシステムのプロセスを紹介して、後半はブレインデコーディングで生成した映像を見せる形にしています。

四方　余談ですけれど、発明家ニコラ・テスラが19世紀末に構想した、頭の中の考えをイメージとして抽出する「思考カメラ」を思い出したんですが、そういったものがいまや技術的に可能になりつつあるんですね。

真鍋　そうですね、いよいよ来てますね。

四方　でも本当に実現したらあぶないというかまずい面もありそうですね。人のリアルなふるまいをいまは監視カメラやオンラインでの挙動やログでチェックしているけれど、そういった行動に出なくても脳波で覗けるようになるかもしれない。

ブロックチェーンの行方

四方　21世紀を迎えた頃は、「デジタル・コモンズ」の可能性が人々の新たな創造性を開くものとして想定されていましたが、Web 2.0以降の世界になって、一部の大企業が様々なデータを監視・管理するプラットフォームとなり、人々のふるまいや欲望も操作しています。各人がログを持つことでフラットで自由なやりとりをするシステムとして生まれたブロックチェーンは、既存の古い貨幣経済の概念や所有概念に絡め取られ、アートにおいてはここ数年、様々な仮想通貨を通じて作品や権利の売買が過熱しています。ライゾマティクスも昨年（2021年）９月にNFTアートの販売を開始されました（７年ほど前にうかがった当時は、販売を想定されていないというお答えを記憶しています）。現在の仮想通貨を通した作品売買に対する考えと今後の展望について聞かせてください。

真鍋　Web3やNFTやブロックチェーンあたりは、ぼくも一所懸命キャッチアップしようと思って、それこそライゾマティクスでもNFTのマーケットを作ったりしているんですけれど、でも100パーセントこれはもう絶対にやんなきゃダメだ！というふうには何か思えない。ただし、理解するためには実践や実装してみることが重要なのでいろいろと試しているところです。

それこそ一昨年（2020年）の秋頃に四方さんの多摩美術大学でのクラス（「社会創造論」ゲスト講義）でNFT（当時はクリプトアートと呼ばれていた）について話した時には、四方さんも学生もまだ誰も知らなかったですよね。僕の周りでは既にかなり知られていましたが、環境負荷の問題が議論されていて取り組むにはハードルが高かった。その一方でクリプトネイティブな人たちと話すと、「えっ？ 環境負荷のことなんか気にしてる人いるの？」といった感じなんですよね。「そんなのいつか解決されるに決まってんじゃん」みたいな。

四方　そういう風に先送りする考え方が大勢を占めているんですか？

真鍋　だけど車もそうで、発明されてできたばかりの時は環境負荷も高いし事故も多かったけれど、時間とともに改善されて、今やクリーンエネルギーで動くようになって事故も減った。それと一緒で、今の時点で欠点や未完成な部分があるなんてテクノロジーを使う以上、当たり前じゃんみたいなスタンスです。なんでこの時点でそんな否定すんの？という具合にかなり楽観的ですね。

ぼく自身はどちらのコミュニティにも友人がいたので、その狭間でどういうふるまいをするのがいちばんクールなのかなと悩んでいた時期がありました。結局、OpenSeaといういちばん大きなマーケットがあって、そこでビープルというアーティストが75億円で作品を売ったことが話題になったので、その作品が売れた前後24時間のマーケットのデータを使って、バブル前夜と事後の状態を可視化する作品を作って展示しました。実際、ビープルの話は象徴的な事件で、そこからバブル化してゴールドラッシュ状態になったけど、ゴールド（金）の時も儲かったのは作業着を作っていたリーバイ（・ストラウト）さんと鉄道を作った（リーランド・）スタンフォードさんだったように、基本的にはすべてのアーティストが儲かる仕組みではないように感じています。

四方　投機的な問題や不確定性の問題もありますね。アーティストの側はコミュニティ的な可能性を感じつつハイプで集まってきている中で、大きなトラブルや事故が起きたらそこでまた状況は変わるんでしょうか。

真鍋　トラブルはすでにかなり起きていますね。本当にスキャム（詐欺）だらけなので。

四方　それでもやっている人は、やっぱり可能性を感じているんですか？

真鍋　もちろん僕も可能性を感じています。ただ、買う側も売る側もかなりリテラシーが要求されるのは事実です。その結果、大きなファンベースを抱えているエンタメのアーティストとのコラボでは難しい点がたくさんあるように感じます。

とはいえブロックチェーンやNFTはバブルで終わるようなものではない。みんなが言っているようにインターネットが出てきた時と同じで、一回バブルが弾けるにしてもその仕組み自体は残っていくと思います。

四方　いろいろな問題があるにせよ、これまでにないものが出てきていることはやっぱり興味深いですね。

真鍋　でもまだアーティストがうまく使えていない印象もあって。たとえば「Loot」というフルオンチェーンのNFTプロジェクトがあるんですけれど、それを手がけたのは「Vine」というYouTubeの７秒版みたいなアプリを作ったVineの共同創設者ドム・ホフマンなんです。テックのことを良くわかっている人たちが刺激的なことをやってシーンを盛り上げている状況に少しマッチポンプ的なものも感じつつも、だけどやっぱり彼らはブロックチェーンの仕組みだったり、コミュニティの性質をよく分かっている。それだけにぼくらがちょっと参入したところでなかなか難しい世界だなとすごく思い知らされた１年ではありました。

神経細胞に計算させる未来

四方　真鍋さんは「BT（美術手帖）」のNFTアート特集（2021年12月号「『NFTアート』ってなんなんだ?!」）の中で、「DNAは世界にひとつしかないからNFT化されて特許になる時代がくるかも」と言っているけれど、それについてもう少し聞かせてもらえませんか。

真鍋　たとえば絶滅危惧種をはじめ保護しなきゃいけない情報は、一定の企業や特定の研究機関のサーバに置くよりも、IPFSというプロトコルを活用した方がいいと思うんです。IPFSというのは昔のWinnyのようなもので、ファイルをみんなで持ち合うような仕組みです。でもWinnyと違ってちゃんとアドレスが発行されるので、そのアドレスにアクセスするとダウンロードできる。未来永劫とは絶対にいかないと思うんですけれど、そういう仕組みとブロックチェーンの技術を使って誰でも長期間データにアクセスできたら価値があるんじゃないか。そもそもNFTアートってそうした永続性や非改竄性が大義名分だったはずなんですよね。

四方　2003年にBiopressennce（現BCL）の福原志保さんとゲオアグ・トレメルさんが、人の遺伝子を木に植え付けていくプロジェクトを立ち上げたように、スペキュラティブデザイン（思考するきっかけを与え、「問い」を生み出し、いまの世界に別の可能性を示すデザイン）的な問題としてNFTを取り上げることもできるかもしれない。いま保存装置としてなんらかの場所を考える場合に、紙の場合もあるし木の場合もあるけれども、NFTデータとして保存することも可能で、これはデジタルとバイオデータが相互補完的になっている21世紀的な合成生物学の時代特有の状況だと思います。でもそうなると人のお墓というか人が生きた証（あかし）自体がNFTデータになって、それは人でもあり、人の一部でもあり、記念でもあるみたいなことにも繋がっていきそうですね。

真鍋　実際、NFTを買っているクリプトネイティブな人たちは、自分の人生はすべてブロックチェーンに書き込まれているから、ぐらいの感じなんですよ。ブロックチェーンに自分の活動が書き込まれることが文字通り「聖書」に書き込まれるような神聖さを帯びている。

四方　たしかにある種、宗教に近い感じなのかもしれませんね。

真鍋　そんな具合だから、めちゃめちゃビットコインを持っていても、もう好きすぎて絶対に売らない。で、安くなったらまたちょっと買い足すみたいな感じで。莫大な資産があるにもかかわらず、それを日本円に変えるわけでもなく普通に生活している人も多い。もちろん税金の問題もありますが。

四方　そうなるとブロックチェーンの先に、バイオデータを考えていく人も出てくるかもしれませんね。

真鍋　DNAを記録メディアとして捉えるとスペース効率がすごくいいといった考え方がちょっと前に流行っていたし、ロックバンドのOK GOは自分たちのアルバムをゲノムの情報にして保存していたから、バイオデータとNFTやブロックチェーンをうまく結びつけている人たちはすでにけっこういるでしょうね。

四方　さらに絶滅危惧種のバイオデータを保管するなど、環境方面ではまた別な意味を持ってきそうですね。

真鍋　確かにぼくが通っているiCeMS（京都大学 物質－細胞統合システム拠点）でiPS細胞を扱っている研究者たちは絶滅危惧種の保護活動もやっていますね。

四方　iPS細胞で絶滅危惧種をどう保護しているんですか？

真鍋　絶滅危惧動物の幹細胞をとっておいて、将来的にiPS細胞から絶滅危惧動物のクローンを作製するということかなと思います。いつになるか分からないのですがそのうち可能になるのかもしれないですね。

四方　こうしたバイオとデジタルの結びつきに対して、真鍋さんやライゾマティクスは「ウェットウェア」（ソフトウェア、ハードウェア、および生物学の混合物）には手を出さないんだなと思っていたら、すでに着手されていたんですね！ その辺りのことを教えてください。

真鍋　最初に取り組んだのは2019年あたりで、高橋宏和さん（東京大学・大学院情報理工学系研究科知能機械情報学専攻・准教授）の研究室からデータを提供して頂き、外部からの電気刺激に対応する分散培養細胞の神経活動データが持つ時空間的パターンを解析・変換し、音と光のデータを生成する「Critical line」というインスタレーションを発表しました。それをきっかけに神経細胞とか培養に興味を持ち始めたんです。

何よりもパソコンとかCPUではなくて、神経細胞に計算させるのが面白そうで。最終的には自分の細胞を使って培養した脳細胞——「脳オルガノイド」（人工的に成長された人間の胚脳に似ている3D凝集体）と呼ぶんですけれど、その自分の分身のようなものと自分が対話するようなことをやってみたいんです。そのためにも次はヒトのオルガノイドを使って、それに目の代わりになるカメラとか耳の代わりになるマイク、筋肉の代わりのロボットアームをつけたりしてひとつのシステムを作る実験をやる。

四方　その電極自体には何らかのセンサーがついていて、何らかのアウトプットができるということですよね。それはどのような役割を果たすんでしょう？

真鍋　細胞の活動を計測・刺激するための高密度CMOS電極アレイは、220×120の合計26,400点の微小な電極を持っています。この中の最大1,024点を同時に計測することができて、かつ最大32点を刺激することができるんです。まだまだこれからなのですがこの環境で作品が作れると思うとワクワクしますね。

自由エネルギー原理と美 / 意識

四方　細胞の活動をセンシングする電極の数にくらべて、細胞に電気を送る電極の数が1,000分の一という！ つまり細胞が受ける刺激がもっと多様になったり高精度になれば、細胞はもっと鍛えられるんでしょうか。

真鍋 「自由エネルギー原理」のこともちょっとだけ話しておくと、シャーレの上にいる神経細胞にとって、外から来る刺激を予測できる状態だと自由エネルギーが低くて、予測できない刺激がくると自由エネルギーが高くなります。

最近行われた研究でいうと、シャーレ上の脳オルガノイドがブロック崩しを行なった例があるんです。パドルの位置情報を表す刺激、パドルでちゃんとボールを返した時に与えられる予測可能な刺激、ボールを返せなかった時にはランダムに予測できない刺激、この３つの刺激を送ってブロック崩しのルールを学習すると、自由エネルギーの原理に基づいて細胞は自由エネルギーを最小にする様に活動するので、徐々にパドルを打ち返すようになっていくんです。

パソコンの中でずっとやられてきた強化学習を神経細胞と高密度CMOS電極アレイでやっているわけです。いまはブロック崩しのパドルとボールですが、それを応用するとアート作品が作れるのではと考えています。グラフィックを描く仕組みとグラフィックをどう判断するかに置き換えれば、いい絵を作っていくシステムもつくれるんじゃないか。最終的には「表現や美に関する意識とはどういうことか」というところにつなげていけるのか、いけないのか。これはやってみないとわからないわけですけれど。

四方　まだ誰もやっていないんでしょうね。

真鍋　そうですね、でもやろうと思ったら１〜２年ぐらいでやれそうな見込みもあるので。

四方　ブロック崩しだったら定量的だけれど、定性的な美となるとけっこうむずかしそうですね。それをどこで判断するかとか、どこで見直すかということもありますよね。

真鍋　ものすごく簡単な話でいうと、写真のカラーグレーディング（色彩補正）はすでに自動化していてAIでやれる部分がかなりあるけれど、それ以外にも数値化しやすい表現と関連する部分ってたくさんあると思うんです。たとえば誰の画風に近いかといった判断はその画像のピクセルの特徴を抽出して、特徴ベクトルに変換して、何か描いた時にこの絵がどの画風に近いかを機械に判断させればできる。音楽でもどの作曲家にいちばん近いかの判断はできますよね。

四方　余談ですが、1980年代後半にキヤノンが秋山庄太郎など、著名な写真家のような写真を撮れる機能を搭載したカメラを発売したことを思い出しました。アーティスト独自の美や表現を数値化して機器に搭載することの意味が気になっていたこともあり、1990年にキヤノンがアーティストとエンジニアのコラボによる文化支援として「アートラボ」を立ち上げた時、キュレーターになった経緯があります。

お話に戻ると、将来的には美とか意識とか美意識といったものもある程度数値化できるかもしれない。でも数値化できない部分も決定的に残るかもしれない。数値化という方法自体の限界というか。でも見る側がその差に気づかなかったら、その差はないものともいえる。AIの黎明期のチューリングテストと同様に。

真鍋さんがメディアアートを始めるきっかけはランダム性への関心だったと以前うかがったことがあるけれど、予想できないものと向き合うクリエイティブな感性に従って、人間や動物としての全体システムを持たない細胞がどこまで何を引き出せるかを自分自身で見極めていくことが今の大きなテーマということですね。

真鍋　自分が期待しているのは、20歳前後でパソコンとかプログラミングで音楽を作り始めたときに、乱数や数学的なルールを使うことで今まで表現できなかったことができるようになった時の衝撃を受けること。その後、機械学習とかAIが出てきて新しい手法や考え方が生まれて刺激を受けて、いまはウェットなところにすごい可能性を見い出している。しかも勝ち目があると思えるのは、今まで自分が培ってきた技術がそのまま使えるし、それこそライゾマティクスのリソースも使える。要はコンピュータの部分を神経細胞とバイオ細胞と電極に代えるだけなので、それで新しいものを作り出せたら面白いなと思うんです。

四方　同時に、倫理の問題も出てきそうですね。

真鍋　それは最後まで絶対に壁になると思います。でも数年、数十年したら人間のオルガノイドを犬に移植して、犬が高次の認知機能を持つといったことが技術的には普通にできてしまうと思うんですよね。いまは小脳をつくる、大脳を作ることはできるけど相互に通信はしていない。それが複数のオルガノイドをまとめてひとつにアセンブロイドできるようになるといよいよ本当に意識みたいなものがでてくるんじゃないか。SFの様な話が実際に生まれてきてリスクを気にして議論が行われていますが、アーティストは先回りをして、リスクや倫理から派生するさまざまなことを、問題提議というよりは実証実験としてやって、それをベースにみんなに少し先の未来を考えてもらう。現代美術作家とちがって実際に作ってしまえるのがメディアアーティストの面白いところだと思います。

四方　バイオアートの世界では、実証実験をすること自体が倫理的に問題はないかという問題がつねにつきまとうけれど。

真鍋　それをやれちゃうのがやっぱりアーティストの——。

四方　メディアアーティストにはそれが可能ということ？

真鍋　医療では踏み出せないことでも、できる場合もあるんじゃないかな。

四方　バイオアートにずっと関わってきた中で、いちばんの悩みはやっぱりその倫理的な拒否感なんですよね。

真鍋　だから自分としてはバイオアートのジャンルじゃないところに行きたいなとは思いますね。

四方　そうか、自分としてはバイオアートとは考えていない。

真鍋　あえてバイオアートとしてやる理由がなかったので気軽にウェットと言っているけれど、自分としてはやっぱり半分は工学でありコンピューティングであり、そのハイブリッドなんです。もちろんバイオはやらなきゃいけないんだけれど、その先はほぼソフトとかハードウェア、ソフトウェアといったエンジニアリングや数学の話なんですよね。

四方　そうか、ここ10年ぐらいバイオアートはすごく活性化しているけれど、そのバイオアートの文脈ともまた別のことを考えてここに至っているっていうことですね。

真鍋　工学とかエンジニアリングというとすごく広くなってしまうけれど、やっぱり自分の関心領域はディープラーニングとナノテクノロジー、バイオ神経細胞の組み合わせ。それこそiCeMSや東大の高橋先生がやっていることだけれど、いまはそのあたりを突き詰めてみたいと思っています。