中村獅童｢分身歌舞伎｣を実現したNTT新技術

NTTの映像音声処理技術「Kirari!」で舞台上の中村獅童さんだけを瞬時に抜き出し、すぐに映像として再現することで「分身」を実現させた（写真：NTT）

毎年4月末に千葉・幕張メッセでドワンゴが主催する動画の祭典「ニコニコ超会議」には、恒例となった人気イベントがある。その名も「超歌舞伎」だ。伝統的な歌舞伎に最新のデジタル技術を融合させた演出が特徴で、従来の演目とはまったく異なる。

今年披露された超歌舞伎「積思花顔競」（つのるおもいはなのかおみせ）は主演に歌舞伎役者の中村獅童さん、バーチャルシンガーの「初音ミク」を据え、5000人の観客がホール会場に詰めかけた。通常の歌舞伎では客層は40代以上が中心だが、会期中の2日間は10代や20代、小さな子ども連れの家族も目立った。

中村獅童さんの分身が浮かび上がった

たとえば、舞台上の獅童さんの姿を瞬時に別画像の背景と合成した動画をスクリーンに大映しにしたり、躍動する獅童さんをコピーした映像が舞台上に複数投影され、まるで分身しているかのように見せたりした。こうした技術を駆使した演出が若い世代の注目を集め、超歌舞伎は今年で3年目を迎えた。

舞台上で桜の背景の前に立つ獅童さんだけを正確に識別し、コンピュータ処理で瞬時に抜き出している（写真：NTT）

公演の合間に報道陣の取材に応じた獅童さんは、伝統と最新技術が融合する超歌舞伎について、「若い方たち、サブカルチャーやデジタルが好きな方に、少しでも歌舞伎に興味を持ってほしくてやっている。伝統や古典を守りつつ革新を追求する生き方をこれからもしていきたい」と語った。

この新しい試みを技術面で支えるのが、NTTの映像音声処理技術「Kirari!（キラリ）」だ。その場で撮影した映像のデータから必要な被写体を瞬時に背景と区別して抜き出し、リアルタイムで映像として再現する技術だ。NTTのサービスイノベーション総合研究所が2015年ごろから開発・改良を続けている。普通の動画撮影などとは違い、必要な被写体だけを抽出できるため、超歌舞伎のような演出が可能となる。

技術の難易度は高い。米国ハリウッドのSF映画の撮影などでは、演技する俳優のみを映像から抽出し、コンピュータグラフィックス（CG）による映像世界に後から組み合わせる手法は、当たり前に使われている。だが、いわゆるブルーバックやグリーンバックの前で俳優の演技を撮影するのが一般的だ。被写体と背景の差をはっきりさせ、正確に被写体を抜き出すためだ。

舞台上の獅童さんと背景を瞬時に識別し、獅童さんだけを「初音ミク」と合成した映像がスクリーンに映された（写真：NTT）

一方でNTTのキラリは、舞台上のゴチャゴチャした映像からでも必要な被写体を瞬時に背景と識別して抜き出し、すぐに映像として再現できる。NTTの担当者は「被写体と背景との差を認識する技術は完全ではないが、どんどん進化している」と話す。現状ではまだ、どんな条件下でも被写体だけ正確に抜き出せる段階ではないが、背景との色合いや明暗の差が小さくても、ある程度まで識別できるようになったという。

さまざまな事業者をNTTが技術支援

NTTがこうした技術開発に力を入れているのは、歌舞伎をはじめとするエンターテイメントやスポーツといった分野において、同社が推進する「B2B2X」のビジネスモデルで収益化が期待できると見ているからだ。

超歌舞伎のイベントには大勢の観客が押し寄せ、大盛り上がりとなった（写真：ドワンゴ）

B2B2Xは、鵜浦博夫社長が中心になって2015年から推進している事業モデルだ。「X」には主にコンシューマーのCなどが入る。B2B2Xモデルの最初のBはNTTで、2つ目のBが顧客となる事業者を指す。つまり、B to C（対消費者）などのビジネスを営む事業者をNTTが後方で技術支援することで、収益を得ていこうというわけだ。

超歌舞伎の場合は、製作を手掛けている松竹が直接の顧客となり、Xは観客となる。今はまだ実証実験段階のため、NTTに儲けは発生していない。ただ、将来的には松竹が観客から得るチケット収入の一部を、NTTが得る形のビジネスモデルを想定する。超歌舞伎などで実績を重ねた両社は5月9日、業務提携契約を締結。2019～2021年の3年間、ICTを活用した共同公演を実施することを発表した。若い世代や訪日外国人客にもアピールできる歌舞伎づくりを探り、興行の拡大を目指すという。

スポーツ分野では、パブリックビューイングを進化させるような形での商用化を模索する。たとえば体操競技で全方位から選手を撮影してリアルタイムで3D映像として再現できれば、現地にいなくともその場で見ているような臨場感を演出できる。結果として技術支援する興行者が入場料を得て潤えば、NTTの収益にもつながる。すでに実用化も視野に入れているといい、「東京五輪での使用を目指している」（広報）という。

通信技術の研究成果を応用

映像音声処理の技術は、NTTが社外でのビジネス活用を想定して開発したものではない。電話などの通信手段を事業の柱にしてきた中で“未来の通信”を想定し、映像や物体もそのまま伝送するコミュニケーションを研究してきた成果だ。そうして磨いてきた技術や、既存事業でも活用している技術を第三者の事業に応用し進化させることで、NTTは別方面でも商機を広げようとしている。

「B2B2X」戦略の推進役を担ってきたNTTの鵜浦博夫社長はこの6月26日付けで退任し、後任に引き継ぐ（写真は2017年8月の決算会見、撮影：今井康一）

このほかにも工作機械メーカー・ファナックにエッジコンピューティング（クラウド上ではなく現場でデータ処理する仕組み）技術を提供したり、Jリーグの鹿島アントラーズ、ベガルタ仙台、大宮アルディージャの各チームと組んでスタジアムのスマート化やIT化を検討したりするなど、既存事業の延長線上で、得意の技術を転用することによりB2B2Xの領域拡大を図っている。

2018年3月期のNTTの通期決算は、売上高が前期比3.6％増の11兆7995億円、本業の儲けを示す営業利益は同6.7％増の1兆6428億円で、14年ぶりに最高益を更新した。傘下のクラウドやITの事業が海外で好調だった。ただ、収益柱のNTTドコモやNTT東日本・西日本の回線事業といった国内事業は、人口減少もあり今後の大きな成長は望めない。

NTTは中長期的に海外事業を成長のドライバーと位置づけつつ、国内の既存事業では「現状維持以上」を目指している。その「以上」を作り出すためには、歌舞伎やスポーツなどとコラボレーションする試行錯誤の積み重ねが大事な一歩となる。