Closed Captionとgoogle翻訳を使ったセカンドディスプレイ字幕サービス

普段の仕事でもセカンドディスプレイやらセカンドスクリーンやら耳にするのだが、このセカンドディスプレイはとてもシンプルかつものすごく便利。
（といっても日本じゃ使いものにならないのであくまで想像だが・・・）


ブラジルで利用可能な、ポルトガル語を母国語としない移住者向けのＴＶ番組翻訳サービス。




仕組みはかなりシンプルで、テレビ番組に必ず付加されているClosed Captionデータを、各チャンネルごとにリアルタイムで読み込み、それをGoogle翻訳にかけ、Web上に表示。

ユーザーは専用のwebアプリをダウンロードし、いま観ているチャンネルと翻訳してほしい言語を選ぶと、いま放送している番組のCCデータを元にした翻訳が画面上に流れてくる。

ドラマやアニメはほぼ遅延なしで表示されるが、ニュースなどの生中継は遅れてデータが付与されるため、翻訳にも遅延が生じるとのこと。

このアプリ、実はブラジルで展開しているブラジル語教室サービスのプロモーション用アプリで、アプリ利用の合間に自社のブラジル語教師に関する情報も得ることができる。


セカンドディスプレイ系サービスはどんどん出てきているが、まだまだ発展途上なアプリやサービスが多いのが現状。

イギリスだとzee tv、アメリカではgetglueなどが人気で、日本でも日テレのwiztvやemoconなどのアプリが出てきているが、まだまだ浸透しているわけではない。

このアプリは、「サービスとしてのコミュニケーション」的施策になっているだけでなく、セカンドディスプレイとして、利用者に意味ある情報を出す、利便性の高いサービスだなと思う。



EasyWaySubtitle.com

ａｕのＣＭを再現した「ＦＵＬＬ ＣＯＮＴＲＯＬ ＴＯＫＹＯ」に参加してきた

年末から一部で話題のauのTVCM「驚きを、常識に。」を観てすぐに、「ぜったいライゾマティックスの仕事だー」と思ったが、やっぱりそうだった。




そのCMの世界観をそのままリアルな空間に再現するイベントがあるということで、サイトで参加応募してみたところ、見事当選！！
イベントのメインアクトはきゃり～ぱみゅぱみゅのライブ。
生きゃりーも観れるというミーハー心と一緒に会場となる増上寺へ行ってきた。


QRコードのチケットを見せて会場入り。さっそく事前に落としておいた会場と同期するための「ODOROKI」アプリを起動しようと思ったら、なんと勢い余ってiphoneを石段に落としてしまった！

ぬぉー！！iPhone5の側面が欠けたーっ！！ まったく傷をつけずに綺麗に保ってきたのにーっ！！この時点でライブのことは半分忘れるくらい、テンションが急速に落ち始める。。。

会場で友人や前職の後輩たちに会うも、iPhoneを落としたショックと気温の低さにどーもテンションが上がらぬままイベントがスタート。


増上寺がプロジェクションマッピングで演出され、外壁がいかにもきゃりーぱみゅぱみゅっぽいCGでいっぱいになる。
ただ、周りの明るさが邪魔してるのか、プロジェクション映像がいまいちパキッとしないのが残念。


ギズモードさん撮影の動画：





ライブ中は専用アプリを起動することで、ライブを演出するライトの一部になることができる。

アプリのUIはこんな感じ。

デフォルトは白だが、ライブの曲と連動していて、ちゃんとフレーズやサビに合わせて赤や緑に切り替わるようになっている。
色の移り変わりがゆっくりとしたクロスフェードなので、実際には遅延があっても曲のテンポとの違和感はあまりない。

さらにアプリを立ち上げた状態でiphoneを振るとカメラのフラッシュが発光。
すでに一回落としているので、iphoneを振るのは躊躇したが、会場の観客がスマホを掲げながら振っている様子はなかなか綺麗だった。

アプリを使ったインタラクションは他にもあり、きゃり～の掛け声によって観客がスマホを振ると、増上寺に投影されたプロジェクションマッピングによって、増上寺が巨大なレベルメーターのようになり、スマホを振った合計数によってメーターが増えていくという演出もあった。
メーターがピークに達すると、なんと後ろに立つ東京タワーのライトが消え、もう一度メーターをピークまで上げると再び点灯。

ただ、観客全員が振っている中で自分がどれだけ貢献しているのかは分からずじまい。これは過去にもソニービルで行われたインスタレーションや、PARTYが手掛けたsonyのDotアプリを使った生中継番組でも同じで、けっきょくこの問題点を解消するまでには至っていなかった。
自分もこの時は振ってみたが、振りながらiphoneの画面をチラッと覗くと、「ネットワークエラー」という表示が・・・


ライブ以外にも、CMで出てきた噴水の色やタクシーのローライダー、さらには東京タワーの照明を自分のスマホでコントロールできるデモにも触れることができた。
噴水の色の変化はとても気持ちいい体験だったが、タクシーのコントロールは遅延がひどく、コントロールしている感覚が伝わってこなかった。

自分の手に届かないものを遠隔からコントロールする場合、触れていないのに触れていると錯覚できるダイレクトなフィードバックを体感させることが大切で、ユーザーがそのフィードバックを得るには、「遅延」をなくすことが重要な条件だと改めて感じた。

これまでは、遅延があっても演出でうまくごまかしたり、感じさせないような表現にすることでうまくいった例もあったが、今回のイベントのように、テクノロジーを使った表現として出来ることが増え、さらに先の表現を追求しようとすると、この課題は無視できなくなってくる。
外のネットワークを使うのではなく、例えばDevice to Deviceによるよりダイレクトな通信手段など、いままでとは違う通信方式をデバイスがサポートするようになれば、こういった課題も解消され、さらに面白い表現手法が生まれるかもしれない。

そんな課題と可能性について考えさせられるイベントだった。


それにしてもiPhoneを石の上に落としたのは悔やまれる・・・