INNOVATION

連載すでに始まっている! AIと暮らす未来

Interview 3

BRINGING HIBARI MISORA BACK WITH AI

没後30年の時を経て、美空ひばりが新曲を歌う——NHKスペシャル「AIでよみがえる美空ひばり」

MORE

SHARE

歌謡界のトップとして昭和の時代を駆け抜け、平成元年(1989年)に亡くなった歌手・美空ひばり。没後30年を迎えたこの秋、NHKとYAMAHAが最新のAI技術でその姿と歌声をよみがえらせる企画を実現。NHKスペシャルで放送後、大反響を呼び年末のNHK紅白歌合戦への出場も決まった——。制作の過程で見えてきたAIをめぐる課題を担当ディレクターに聞きました。

Photo Courtesy: NHK
Portrait by Kaori Nishida
text by HILLS LIFE

お話をうかがった井上雄支・大型企画開発センター・ディレクター(番組制作当時/左)、森内大輔・デザインセンター 映像デザイン部 チーフプロデューサー(右)。生前の美空ひばりさんの舞台衣装を手がけていた森英恵さんが、3Dホログラム映像用に特別にザインした衣装とともに。

——今回のプロジェクトのきっかけは?

井上 2017年からNHKスペシャルのシリーズ「人工知能 天使か悪魔か」を担当していました。タイトルが示すように、人工知能(AI)の良い面と悪い面、デュアルユース性を提示しながら、私たちがどうやってこの技術とつきあっていくべきかを考える内容でした。その番組の後、2018年の夏ごろ、歌番組などを手がけるエンターテインメント番組部のプロデューサーから、「NHKのど自慢」の審査をするAIは実現可能かと相談されました。のど自慢の審査員は歌のうまさを判断するだけでなく、参加者とのやりとりも大切なのでAIには向かないんじゃないか。やるのであれば、美空ひばりさんのような亡くなった方をよみがえらせる企画の方が視聴者に喜んでもらえるのでは、と返したことがきっかけになりました。ちょうど翌19年にひばりさんの没後30周年を迎えることから、ひばりさんの圧倒的な才能をAIによって次の世代に伝えられるとしたら、文化の新しい伝承の仕方として放送局が取り組む意義があるんじゃないか。そんなことをみんなで話し合いながら、30年ぶりの新曲を歌ってもらう企画書を作ったんです。

CG 制作中の画面より。

——技術的に難しかった点は?

井上 AIによる歌声の合成は、歌声合成技術「VOCALOID:AI」を開発したYAMAHAにお願いしました。一般的なAIは、会話レベルの再現であればすでにかなりの水準に到達していますが、歌声となると難易度は別格。しかもひばりさんのような超絶技巧の歌声となるとまったくの手探りでした。ひばりさんの歌い方や表現方法は曲ごとに違うので、ディープラーニングで学習させる教師データもすべてバラバラ。一回学習させても別の曲を歌わせてみると、どの歌い方を選んでいいかAIが迷ってしまうほど。また、あらゆる技巧が同居しているので、ビブラートを精巧に再現してもひばりさんの声に聞こえない。ファルセットだけでもだめ。すべての技巧を再現したうえで、わかりやすい特徴をあえて抑えて、人を感動させる歌声に近づけていくことに苦労したと、YAMAHAのエンジニアの方が言っていました。人間とAIが文字通り「対話」をくり返しながら完成させたひばりさんの歌声は、音声合成分野を牽引するYAMAHAにとってもひとつの到達点になったと思います。

森内 私は、番組終盤にAI開発のまとめとして実施したライブステージで、3DCGとホログラム映像を組み合わせ、ひばりさんを出現させる部門を担当しました。表情や動きなど、ひばりさんらしい振る舞いを再現する過程の中で、今生きて舞台に立たれている現役歌手の方々への影響も同時に感じました。生身の人間は毎年歳を重ねつつ、その中で身につけたり失っていくものと折り合いをつけながら活動を続けていきます。その傍らに、〈永遠の命〉を持つボーカル機能を備えたAIが並び立つとしたら、アーティストのあり方から視聴者がアーティストに求めるものまで、今後大きく変化していくはずです。現時点では想像もできないほど多様な活動や楽しみ方が選択できるようになるかもしれません。

AIがエンターテイメントの在り方を変える!?
AI Will Affect the Future of Entertainment

——技術的な挑戦の一方で、AIで故人をよみがえらせることに躊躇はありませんでしたか?

井上 企画書ができあがった時点で、まっ先に遺族である加藤和也さんをはじめ、ひばりさんを支えていたレコード会社の方々などに説明に上がり承諾を得る作業を重ねました。番組づくりでも、AIで再現することをタイトルに明記し、制作プロセスを示し、AIを取り巻く社会的な課題も提示したうえで、いまのAIに何がどこまでできるのかを伝える内容に徹したので、倫理的に問題はないと判断しています。ただし、今回のスキームを使ってひばりさんの新曲をどんどん作ったり、亡くなられた他の歌手に歌わせるといったことは簡単にやるべきではないし、視聴者の方々も番組を通じてそう直感されたと思います。今回の番組の目的のひとつは、まさにそのことを広く感じ取ってもらい、AIをめぐる今後の議論につなげてもらうことでした。

祝! NHK紅白歌合戦出場決定!
NHKスペシャル「AIでよみがえる美空ひばり」

●放送:9/29(日)21:00~21:49 ●出演:秋元康、天童よしみ、森英恵 ●制作統括:寺園慎一 島田雄介 足立博幸 ※今後の放送予定:NHK BS4K「AIでよみがえる美空ひばり(拡大版)」11/23(土・祝)20:00~、28(木)15:45~(再)/NHK BSプレミアム「AIでよみがえる美空ひばり」12/7(土)20:00~ ※第70回NHK紅白歌合戦(12/31(火)19:15〜)への出演が発表されました!

森内 私は、番組終盤にAI開発のまとめとして実施したライブステージで、3DCGとホログラム映像を組み合わせ、ひばりさんを出現させる部門を担当しました。表情や動きなど、ひばりさんらしい振る舞いを再現する過程の中で、今生きて舞台に立たれている現役歌手の方々への影響も同時に感じました。生身の人間は毎年歳を重ねつつ、その中で身につけたり失っていくものと折り合いをつけながら活動を続けていきます。その傍らに、〈永遠の命〉を持つボーカル機能を備えたAIが並び立つとしたら、アーティストのあり方から視聴者がアーティストに求めるものまで、今後大きく変化していくはずです。現時点では想像もできないほど多様な活動や楽しみ方が選択できるようになるかもしれません。

——AIに関して改良が必要だと感じた点は?

井上 将来的には、より倫理性の高い技術の実現が必要になるでしょう。AIひばりが歌う各パートの声が、ひばりさんが実際に歌ったどの曲のどの部分から来ているのか。いまのAIの技術ではわからずブラックボックス化しています。そうすると、何らかの人為的な操作をしてフェイクなものが作られたとしても検証することができない。将来的には「X-AI(ExplainableAI:説明可能なAI)」のような技術とセットにして運用していく必要があると思います。

また、AIを使う人間の側の課題も強く感じました。技術が完全でなくても、本物だと思いたい欲求と結びついたとき、人間の感覚や認知機能は補完され、フェイクで作られたものでも人びとは本物として受けとめてしまう。そうした人間の感情をコントロールする扇動システムをAI に作られてしまうと怖いし、意図的にそういうAIの使い方をされると危険だなと思いました。

——今回の番組制作を振り返って思うことは?

森内 制作者として新曲を披露するステージに立ち会いながら、実は自分が何に感動しているのかわからずただただ立ちつくすだけでした。新曲「あれから」(作詞:秋元康 作曲:佐藤嘉風 編曲:野中“まさ”雄一)の出来が良いのか。秋元康さんの詞が心に触れるのか。その歌をAIが完璧に再現しているからなのか。膨大な時間と技術と労力を躊躇なく注ぎ込む関係者やスタッフへの敬意なのか。あるいは、涙するお客さまの姿に心が震えていたのか。その場で起きていることの情報量があまりにも多すぎて、自分の認知の閾値を超えてしまう。まさに初めて体験する瞬間でした。

井上 その意味で、人間の能力をある部分において圧倒的に凌ぐAIの進化によって、今回の様なSFの要素を持ったドキュメンタリー番組ができたと思います。エンターテイメントの在り方が大きく変わり始めていると感じています。

NEXTInterview 4

CREATE A NEW RECIPE WITH AI

世界中の食を学習した AI が人知を超えたレシピを提案する——Food Galaxy