AR体験に利用できる画像処理技術(ComputerVision)7選

※弊社のテックブログより移行しております。
https://tech.graffity.jp/entry/computervision

ARは視覚の代替、拡張にあります。 ベースとなる技術である、Computer Visionは、2012年のDeepLearningのブレイクスルーにより、毎年たくさんのComputerVisionの研究が発表されることから始まりました。初めはクラウド上で動くものでしかなかったこのテクノロジーは、今やスマホでサクサク動く時代へ。 AR普及するのに欠かせない、ComputerVisionテクノロジーを今回はピックアップしたいなと思います。

INDEX

1. 顔認識
2. 画像分類
3. 物体識別
4. 物体追跡
5. セマンティックセグメンテーション
6. インスタンスセグメンテーション
7. 姿勢認識

1. 顔認識

顔認識は、顔から特徴点を抽出するテクノロジーです。 現在利用されているARのユースケースでは、ダントツであるFaceFilterがそうですね。 近年急速に普及している、Avatarも同様なテクノロジーを利用しています。

iPhoneXではdepthセンサーより、より細かく特徴点を把握できるので、Avatarの表現をよりリアルにすることができました。 これが画像ベースでできると非常に面白い世界になりそうですね。

以下のMeMojiでは、なんとDisneyのキャラクターになりきっています。 子供に人気が出そうなユースケースですね。

2. 画像分類

画像分類は、画像のラベルを予測するテクノロジーです。

画像分類の学習から予測までのステップは以下です。
・訓練データとして、N個の画像とそれぞれの画像にK個のラベルを用意します。
・DeepLearningでN個のインプットデータと、K個のラベルを学習させます。
・ある画像を入れた時に、K個のどれに分類されるかを予測します。

シンプルなステップですが、画像を正確に予測していくことが難しい。 より具体的に分類したければしたいほど難しいです。 大量なデータとそのラベル、そしてAIエンジニアの力量が必要な分野です。

実際にPiterestでは、大量なデータをオンラインで集め、画像分類を使った画像検索を提供しています。 

どのような画像検索かは、こちらのDemoより!

3. 物体識別

物体認識とは、画像の物体それぞれに対して、ラベルとその領域を予測するテクノロジーです。

自動運転の要素技術であることから、大手IT企業が研究開発を進め、リアルタイムに精度高く識別ができています。

・You Only Look Once (YOLO)
・Single Shot MultiBox Detector (SSD)
・Region-Based Fully Convolutional Networks
あたりで検索するとモデルにたどり着けると思います。

以下はYOLOを使った物体識別です。

4. 物体追跡

物体追跡とは、あるシーンの中の物体がどのように動いたかトラッキングし、今後どのように動くかを予測するテクノロジーです。

こちらも自動運転に必要な要素技術なので、TeslaやUberなどが研究開発をしており業界をリードしています。

fully-convolutional network tracker というモデルが有名です。 デモはこちらから。

5. セマンティックセグメンテーション

セマンティックセグメンテーションとは、画像のそれぞれのピクセルが、車、自転車などの概念に属するのかを予測できるテクノロジーです。上記の写真だと、人・道・車・木・歩道などを識別することがピクセル単位でできています。 物体識別とは違って、ピクセル単位で予測できることが一番大きな特徴になります。

以下が有名なモデルになります。 * Dilated Convolutions * DeepLa * RefineNet.

Tensorflowで作った、Dilated ConvolutionsのDemoがこちらになります。

6. インスタンスセグメンテーション
f:id:graffity:20180730131032j:plain

インスタンスセグメンテーションは、セマンティックセグメンテーションをさらに深め、上記の画像のように、車や人をさらに識別してセグメンテーションするテクノロジーです。

Mask R-CNNあたりが有名ですね。 以下がデモになります。

7. 姿勢認識

姿勢認識は、画像から人の体を認識し、ボーンを予測するテクノロジーです。 この技術は、Vtuberに使われている技術ですね。

OpenPoseというモデルが有名で、デモはこちらから。

このボーンを予測するという文脈では、ジェスチャー認識もあります。 2018年のF8で、Facebookが研究している発表していました。こちらもスマホARで使える未来は近いですね。

8. まとめ

「ARイノベーションを牽引するComputerVision7選」ということで、ワクワクする未来感のあるテクノロジーと出会えたらに嬉しいです。 個人的にもテクノロジーが好きなので、率先して深くリサーチしていければと思います。まだまだ公には出ていないCV技術はあると思いますので、定期的に発信していければと思います。

このようなCV技術を使い、早く人類がARの未来に近づけるよう頑張っていきます。

参考記事


この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

1

GRAFFITY

Graffity株式会社のブログです。

AR Blog

GraffityのメンバーによるARに関する考察ブログです。
1つ のマガジンに含まれています
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。