Googleにあなたのダンスをコラージュさせる

こんにちは!

はっす→です!

Googleが7月19日に新しいサービスを開始しましたので紹介します。

Move Mirror

Googleが「Experiments with Google」というサイトで、
自分が取ったポーズから似たポーズの人の写真を自動的に選び出すウェブサービス「Move Mirror」を公開しました。

Move Mirror

これは、ウェブカメラが内臓または接続されたパソコンから、ウェブカメラを通して撮られた画像を認識して
瞬時に同じポーズをしている画像を即座に表示します。

Googleが開発したオープンソースの姿勢判断モデル「PoseNet」をウェブブラウザーからTensorFlow.jsで動かしており、
人体を右肩、右足首、右尻、鼻といったように17のパーツで区分して判断しています。

人種・性別・身長・体型・そのほかの特徴などは判断基準として使用していないため
あくまで同じポーズをとっている画像だけが表示されます。

現在はパソコンのみ対応しております。

やり方は Move Mirror のサイトに行き
なるべく背景がごちゃごちゃしていないところで、
自分の全身が映るようにパソコンのカメラの位置を調節して
「TRY IT」ボタンをクリックします。

5秒のカウントダウン中に撮影ポイントに移動して動き、
録画を終了するだけで左に自分のGIF動画、
右にその動きに似たポーズの画像が動きに合わせて
パラパラ漫画のように表示されます。

上半身だけだとうまく認識しませんが、
全身がはいるようにすると認識されやすくなります。

録画したGIFはダウンロードできて、シェアも可能です。

Googleはプログラマーやメーカーに
もっと機械学習にふれてもらいたいという思いから
Move Mirrorを作り姿勢判断といった
コンピュータービジョンによる技術が楽しくも新しい方法に使えることを示せたとしています。

Googleがもつ8万枚の画像データベースの中から、時間差なくポーズと一致する画像を取ってくるためには
関連性のないと思われる多くの画像がスキップされ、その後に絞り込まれた画像の中から、
ポーズにマッチした画像を即時に抽出して表示させているようです。

将来的には、ウェブカメラの前でダンスするだけで、
この動きに一致するミュージックビデオや映画が検索できるようになるかもしれません。

実際に踊ってみる

実際に撮影をしてカメラの前で踊ってみました。
速い動きをするとマシンパワーが不足しているのか、
画像の表示が遅かったり認識が雑になる印象になりましたが
意識して遅めの曲で踊るとリアルタイムに画像が切り替わりました。

なるべく細かい動きよりも、大きく動いた方が画像が切り替わって面白いです。

真剣に踊るというよりも、ゆるく踊って踊った動きをGIFにして
あなたのダンスを他の人が踊ってみたGIF画像として作ってみるサービスとして楽しいです。

カメラの前でJOJO立ちをして、同じJOJO立ちをする人や元ネタのポーズしているコマが表示されると
嬉しくなります。