麻布台ヒルズに設置されたサイネージに、浮世絵風の風景が映し出されている。晴れた朝には明るく開けた江戸の街並み、雨の日には傘をさした人物が軒先に佇む光景——10分ごとにリアルタイムの気象データを参照しながら更新されるこの画像を生み出しているのは、麻布台ヒルズに入居するAIスタートアップ、Sakana AIだ。なぜ最先端のAI企業が100年以上前の浮世絵風の画像を生成するのか？ 日本の古典文学とAIを研究してきた異色の研究者であり同社リサーチサイエンティストを務めるカラーヌワット・タリン氏の元を訪ね、日本文化を理解するAIモデルの可能性を探る。
TEXT BY Shunta Ishigami
PHOTO BY Manami Takahashi
欧米のAIは浮世絵を描けない？
——Sakana AIのようなAI企業がなぜ「浮世絵」の生成に取り組まれているのでしょうか？
タリン Sakana AIは「日本における日本のためのAI企業」を目指していて、日本の社会や文化に固有の要素をAIに組み込むことが重要だと思っているんです。たとえば今年リリースした「Sakana Chat」も関西弁や丁寧語など日本語の表現スタイルを選べますし、それによって回答のニュアンスが変わるようになっています。
今回の取り組みの背景にも、欧米企業の汎用AIモデルが英語圏の情報を大量に学習してつくられていることへの問題意識があります。日本文化のコンテクストが不十分なので、既存の汎用AIモデルで浮世絵を生成しようとしても和風のイラストしかつくれないんですよね。だから「AIに本物の浮世絵を理解させることは可能か」という問いから、今回のプロジェクトが立ち上がっていきました。
——たしかに浮世絵風のイラストなら生成できそうですが、江戸時代の「浮世絵」を再現できるわけではなさそうです。
タリン そもそも浮世絵は単一のスタイルで規定されるものではなく、歴史的に変遷してきた芸術です。元々は江戸時代の書籍の挿絵として始まり、紅摺絵のように限られた色で刷られる段階を経て、多色刷りの錦絵へと発展し、その後ベロ藍（プルシアンブルー）の輸入をきっかけに藍摺絵も生まれました。浮世絵を浮世絵たらしめているのは木版印刷という技法で、木版印刷特有の物理的な特徴が線の質感、和紙のテクスチャや折り跡、色ごとに版木を重ねて刷る技法、そしてぼかし（グラデーション）の表現につながっています。
本プロジェクトでは、こうした質感の再現に特に注力しています。ひとくちに「浮世絵」といってもその幅広さゆえに解釈が曖昧になってしまうため、私たちは色鮮やかで、線がはっきりしていて、美しい作品を膨大なアーカイブから選んでモデルに学習させてきました。
12,000枚の浮世絵でファインチューニング
——具体的にはどのようにモデルを開発されていくものなんでしょうか。
カラーヌワット・タリン｜Tarin Clanuwat Sakana AI リサーチサイエンティスト。早稲田大学大学院文学研究科博士課程修了。専門は中世の『源氏物語』古注釈。博士号取得後、国立情報学研究所、Google Brain、Google DeepMindを経て現職。日本古典文化のためのAIモデルの研究開発に従事。くずし字認識アプリ「みを」の開発者。幼いころから日本文化に魅了され、AIを通じて日本の古典文化をもっと楽しく身近にすることが夢。
タリン Qwenという中国製のオープンソースモデルをベースに、浮世絵のデータを使ってファインチューニング［編注：追加のデータをAIモデルに学習させ、出力を微調整すること］を行っていきます。人物画のデータについては立命館大学アート・リサーチセンターからご協力いただいて同センターが所蔵する浮世絵コレクションを使用しており、歌川広重や葛飾北斎の作品を中心とした風景画などのデータはメトロポリタン美術館のパブリックドメイン・コレクションを活用しています。最終的には約12,000枚の浮世絵を用いて、モデルのファインチューニングを行いました。
——技術的にはどんなポイントが重要になってくるのでしょうか。
タリン 最も難しかったのは「説明文」の整備ですね。ファインチューニングのためには画像だけでなくそれを説明するテキストも必要です。でも、すべての画像に説明文が添えられているわけではありませんから、今回は私自身がすべての説明文を整理していきました。
——12,000枚すべてですか？ かなり大変そうですね……
タリン もちろんAIで下書きをつくってはいますが、１枚ずつチェックして修正する必要がありましたね。この精度によって、モデルに日本文化の知識を組み込めるか変わってしまうからです。たとえば旅人がかぶっている「三度笠」と農作業で使う「菅笠」は異なるものですが、英語にすると両方「straw hat」になってしまう。画面に登場する人物の性別や道具と時代の整合性など、文化的な区別をモデルに理解させることが大きな課題のひとつでした。
——時代考証のような正確さが求められるわけですね。
タリン 江戸時代の写真は末期にしかないので、資料を参照するしかありません。描かれる風景ひとつとっても時代や時期によって変わりうるわけですが、今回は広重の風景画をもとに街並みの構図や形を参照し、江戸の風景の基準をつくっていきました。
ただ、どこまでが「浮世絵」なのかを定義するのは正直難しい問いです。木版印刷だけが浮世絵なのか、江戸時代に限るのか、明治の作品はどうなのか——線引きは曖昧ですからね。今回は木版印刷の質感をもつことと、江戸時代の文化と社会を正しく反映することを重視しましたが、まだ完璧なモデルとは言えないと思っています。開発プロセスでは専門家の方に相談することもありましたし、今後も修正を重ねていく必要がありますね。
リアルタイムの天気に応じて画像が変化
——今回サイネージで行われている展示は、四季やリアルタイムの天気に応じて表示される浮世絵が変わるのも特徴的ですよね。何パターンくらいの画像を制作されたんでしょうか。
タリン 森ビルさんから「インタラクティブな要素を入れたい」とご相談をいただいたんです。人間とのインタラクションは難しいですが、天気ならできるかもしれないと思って。桜など春夏秋冬を反映したものもあれば、曇り具合や雨の量によっても変わりますし、計7,500枚の画像を制作しています。
今回のプロジェクトで生成された浮世絵は、麻布台ヒルズと神谷町駅をつなぐ駅前広場のデジタルサイネージに映し出されている。３分に一回の間隔で15秒の映像が表示され、その絵柄はリアルタイムの天気によって変わっていくという。
ただ、リアルタイムの気象状況を反映する作業は複雑でもありました。天気予報のデータを使うだけだと予報なので、外は雨が降っているのに反映していないこともあるので、晴れの画像のままになってしまうケースもあります。今回は気象庁の予測データとアメダスの実測データを組み合わせています。それでも難しい部分はたくさんあって、たとえば雪の場合だとアメダスは積雪しないと「降雪」と判定しないので細かな条件判断をAIで行い、天候・時間・季節の組み合わせで470パターンから最適な画像を選ぶパイプラインを構築しました。桜が咲いているのに雪が降っている状況や台風の状況も想定したうえで、多様な風景を用意しています。
——ひとくちに「雨」といっても小雨から台風までさまざまなバリエーションがありますし、想像以上に複雑そうですね。多くのパターンをつくっていくうえで工夫されたポイントはほかにありますか？
タリン 実は、すべての画像に「くろ」という黒猫が映り込むようになっているんです。くろは江戸の各地を旅する存在として描かれており、画像によって眠っていたり、景色を眺めていたり、雨の日には人物が傘をさしてあげたり、食べ物をもらったりと、場面ごとに異なる姿を見せてくれます。その存在が、画像全体にひとつの物語としてのつながりを生んでくれたと思っています。
ちなみに「くろ」は名前こそオリジナルなものですが、９世紀の宇多天皇の日記『寛平御記』に記された黒猫に由来しています。そこには天皇がこの猫を深く愛した様子が記録されており、日本における猫と人との関わりを示す最も古い記録のひとつなんです。
私自身も猫が好きで、雨や雪が降ったら猫を外に出さないようプロンプトを設定したのでぜひ注目していただきたいですね（笑）
古典文学の研究から生成AIの世界へ
——タリンさんは現在Sakana AIのリサーチサイエンティストを務められていますが、早稲田大学大学院文学研究科で修士号・博士号を取得しました。『源氏物語』の研究に取り組まれていたそうですが、なぜ日本の古典文学を研究するようになったんですか？
タリン 日本語に興味を持ったのは10歳のとき、バンコクの学校で日本人の友達ができたのがきっかけで、その後『あさきゆめみし』という漫画から『源氏物語』に興味をもったんですよね。ストーリーそのものだけでなく、着物の柄や室内の調度、人々の暮らしのディテールが別世界のようで魅力的に思えたんです。それで早稲田大学では『源氏物語』の注釈について研究していました。
——その後、テクノロジーを活用した研究にも取り組まれていったそうですね。
タリン 実はタイにいたころプログラミングの勉強もしていたのですが、きちんと機械学習の研究に取り組んだのは2017年に東京大学の特別研究学生になってからです。ディープラーニングを用いたくずし字認識を研究するようになりました。
大学院のころ、古典文学を学ぶ学生が毎年減っていることが気になっていました。博物館に行っても、くずし字はただの模様にしか見えない。「読めるようにするにはどうすればいいか」という問いからくずし字認識アプリ「みを」の開発に取り組むようになりました。
——大学院を修了してから国立情報学研究所やGoogleで働いたそうですが、古典文学からAIの世界へ移るというのはかなり珍しいキャリアなんじゃないでしょうか。
タリン Sakana AIはもちろんのこと、研究の世界でも古典文学とAIの両方を専門とする人はほとんどいませんからね（笑）。でも、２つの世界を比べるのは面白いですよ。『源氏物語』の研究は800年間みんな共通の資料を読んで積み上げてきたものですが、AIの研究はもはや10年前の技術がぜんぜん使えなくなってしまっている。常に変わらないものと常に変わるものを同時に扱う感覚が、この仕事の独特な面白さだと思っています。
今回のプロジェクトのために、タリン氏は神保町の古書店で浮世絵に関する資料を蒐集している。浮世絵は時代によって線画からカラーまで表現もさまざま。ときには昔の銀杏の葉が押し花のように挟まっていることも。こうした資料を数千円で買えるのが日本の文化資産の豊かさだとタリン氏は語る。
AIは過去・現在・未来をつなぐ架け橋
——そんなバックグラウンドとSakana AIのビジョンもつながっているように思います。
タリン 実はSakana AIのCEOを務めるデイビット（・ハ）はGoogle時代の上司でもありました。彼はサンフランシスコにいたころから「日本に世界と肩を並べるAI研究ラボをつくる」という構想をもっていて、彼のビジョンと私の研究の方向性が一致していたこともあってSakana AIを創業する際に声をかけてもらいました。
——性能だけ見ればシリコンバレーの汎用モデルも日本語の精度はどんどん上がっていると思うんですが、やはり日本文化を理解したAIをつくることは重要なのでしょうか。
タリン インターネット上のデータは90パーセント以上が英語圏のもので、日本語のデータは１パーセント程度しかありません。そんな状況でつくられた海外発のAIは、どれだけ優秀でも「外から見た日本」を語るAIになってしまいます。「東京とはどんな街か」と聞くと、国内の情報から構築された答えではなく、海外から見た日本の姿が返ってきてしまうわけです。
AIが日常に深く浸透していく中で、若い世代がそれを信じて内面化していったとき、日本のアイデンティティはどうなるのか──これは文化の問題であると同時に、社会の問題だと思っています。だからこそ、日本の情報をもとに日本を説明できるAIをつくることは重要ですし、それはAI時代における日本のアイデンティティを守るための営みでもあると考えています。
——今回のプロジェクトに留まらず、今後タリンさんはどのような研究に取り組んでいかれる予定なんでしょうか。
タリン 日本には世界で類を見ないほど膨大な歴史資料が残っています。手紙、日記、農業記録、気象記録——その数は、数億点とも言われます。ただ、それをきちんと活用できているとは言いがたいでしょう。近年は多くの学術機関が所蔵品のデータをウェブ上で公開するようになってはいるものの、それは「写真として見られる」レベルまでです。内容を検索したり読んだりすることはほとんどできなくて、いまは１枚１枚画面で開いて目で読んでいくしか方法がない。しかもその多くはくずし字や漢文で書かれており、現代人には読めない。せっかく現代まで伝わってきた資料が、「読める」ようにならないのはもったいないと思うんです。
私の夢は、AIを使ってこれらをすべて「読める」ものにすることですね。文学だけでなく、伝染病の記録も、地震の記録も、天気の記録も——あらゆる分野の日本の過去が一般の人々に届くようにしたい。AIを過去と現在、そして未来をつなぐ架け橋にしたいんです。
Sakana AIのAI浮世絵画像、ここで見られます！
場所：麻布台ヒルズ 神谷町駅前広場
場所：麻布台ヒルズ 六本木一丁目駅 通路※黄色でマークした位置に設けられたデジタルサイネージに上映※３分に一回、15秒の映像が流れます
SHARE