【ひらブラ vol.19】認識系ブラックボックス最前線（Part-1）

脳トレにも使われた「文字認識ミドルウェア」

ニンテンドーDSの『脳を鍛える大人のDSトレーニング』というソフトを覚えていますか？「脳トレ」と呼ばれ、社会現象を起こし、老若男女に支持され大ヒットしました。DS最大の特長であるタッチパネルを活かした操作、とくに「ペンで直接文字を書いて入力する」という点が印象に残っているかと思います。

この「手書き文字認識」を実現しているのが、『楽ひら』というミドルウェアです。楽ひらは、脳トレ以外にも、ベネッセの学習教材にも使用され、最近ではiPhoneやAndroidなどスマホ上でうごく辞書やドリル、エデュテイメント系アプリでも数多く採用されています。

ゲーム業界やスマホアプリ業界で支持され続けている、この『楽ひら』を手がけているのが、PUX株式会社。2012年に設立されたばかりの会社です。あれ？脳トレの発売が2005年だからおかしいんじゃないの、と思われるかもしれません。「PUXのPは、じつは、PanasonicのP」というのがヒントです。このへんについては後ほど詳しく触れます。

まずは、なぜボクがPUXさんのミドルウェアをご紹介するのかを、少しだけ説明しておきます。

出会いのきっかけは、ちょうどiPhoneが正式に日本で発売された直後くらいのタイミング。当時、パナソニック内部でミドルウェア事業を手掛けられていた見舘潔（みたてきよし）さんから「ぜひ会ってお話したい」とご連絡を頂きました。

当時ボクは「iPhone&Smartphone推進室」という新組織の立ち上げを拝命し、スマホの世界でCRIの存在感を高めていくために孤軍奮闘していた時期でした。すでに「楽ひら」の存在は知っていたので、両者（両社？）の技術をいかにスマホ業界で広めていくかについて夢を語り合いました。

そのときに、見舘さんから頂いた言葉のなかに、今でも強く印象に残っている言葉があります。それは「CRIは憧れです」という言葉。誤解のないように補足しますと、ミドルウェア専業の企業が日本でもまだ珍しいなかで「ミドルウェアひとすじ」を標榜して会社を運営していることに、強く関心を頂いたのでした。

そして間もなく、パナソニックのミドルウェア系研究開発部門の一部が、PUXとして独立することになるわけです。

CRIでは、協業パートナーの先端技術とのシナジーを視野に、会社の枠にとらわれず自社技術でなくとも積極的に良い技術とコラボして『なにかを実現したい人』を全力で応援したいと思っています。

稀有なことにいずれの業界内でも「中立的」な存在であるCRIなので、いろいろとご相談やご要望を頂きます。それが、自社技術の範囲内ではないからという理由でお断りするのは、あまりにもモッタイナイ！

もちろん、大事なお客様にご提案する技術ですから、何でも良いわけではありません。しっかり自分たちの目で確認し、自信をもってご紹介できるものを厳選しています（って書くとなんだか上から目線に聞こえてしまいますが…自分たちが本当に「良い」と思ったものだけをご紹介するようにしています）。

そんな協業パートナーの１社が、PUXさんです。

今回、PUXの「顔」であるお二方とお話をしながら、最新の技術動向についてヒアリングしました。その技術の「スゴさ」をどこまでお伝えできるか分かりませんが、読者の皆さんと共有できればと思います。

今回の記事を読んでなにかビビっとくるものがありましたら、ぜひお気軽にお問い合わせ下さい。記事末のフォームからでも、CRIウェブのお問い合わせフォームからでも、どちらでも構いません。

リアルタイムな「顔認識ミドルウェア」

PUXの数あるミドルウェア技術のなかでも、とくにご紹介したいのが「顔認識系」のミドルウェアです。顔認識といえば、デジカメやスマホカメラでの「顔検出機能」やFacebookの写真への人物タグ付け機能など、ずいぶん身近な存在になっています。

まずは、技術デモ映像をご覧下さい（顔認識ミドルウェア “FaceU”）。

このデモでは、カメラで映像を撮影しながらリアルタイムに画像を解析し、顔の各種パーツを検出しています。分かりやすいように、目、鼻、口、顔の輪郭、頭頂部の検出点を線で結んで、実際の顔に重ねて表示しています。

認識精度の高さや認識のリアルタイム性を、感じて頂ける映像になっていると思います。顔の向きが変わっても、ちゃんと認識しているところもポイントです。

さらに、画面内に複数の人物が写っていても…

このように、複数人の同時認識も可能です（同時に認識できる人数は、利用する機種のスペック等に依存します）。

デモのように、顔のパーツを検出するだけでなく、

・瞬き推定　：　左右のまぶたの瞬きの度合いを認識
・視線検出　：　被写体の視線を検出
・人物認証　：　複数の顔から登録済みの顔を認識
・年齢推定　：　被写体の年齢を推定
・笑顔推定　：　被写体の笑顔の度合いを認識
・顔向検出　：　被写体の顔の向きを検出
・性別推定　：　非茶帯の性別を推定

といったことも可能です。

CRIとしてもすでにいくつかの案件で当技術と当社ノウハウを融合した提案を進めていますが、この技術の特長は、なんといっても「環境変化に強い」ということと「スケーラビリティがある」ということです。

環境変化とは、照明などの明るさの状況や、サングラスやマスクといった、顔認識にとっての妨害要因の有無です。デモ映像でもお解り頂けるように、顔の「傾き」にも強いこともポイントです。

認識精度とパフォーマンス、ライブラリサイズは、どうしてもトレードオフの関係にありますが、使う目的やシチュエーションに応じて、最適なものを選べることも「組込やすさ」という点では重要です。独自のアルゴリズム化によって、コンパクトでありながら十分なパフォーマンスを備えています。

特別なハードウェアを必要とせず、写真や画像さえあれば、100％ソフトウェア上で顔認識ができるわけです。

どうでしょうか？

新しいゲームやソーシャルアプリの企画の幅が拡がってきませんか？

実際にどういうサービスや場面でこの顔認識技術が活用されているのか、事例が気になりますよね。

ここからは、PUXの方との対談形式でお送りします。

エンタメやソーシャル領域で広がる顔認識技術

ここからは、PUXの中西健治（なかにしけんじ）氏と前出の見舘潔氏のご両名との対談で進めていきます。

中西健治氏（以下、中西） 手書き文字認識技術の「楽ひら」のようにパッケージ型のビジネスモデルにはまだなっていないので、顔認識技術は、現時点ではニーズベースの個別案件が多くなっています。

幅朝徳（以下、幅）例えば、どのような事例がありますか？

中西 スマホアプリでは、リクルート様の写真管理アプリ「Ambrotype」に使っていただいています。顔認識を使って、写真に写っている人物ごとのアルバムが自動的に作成される機能が実現されています。

幅 そのアプリなら、ボクも使っています。いろいろなSNSに散在した写真を拾ってきてくれるので便利ですよね。

中西 ちょっと変わった事例では、関西テレビ様のマラソン中継があります。顔認識とトラッキング技術を応用して・・・

幅 ランナーの顔を認識・追跡するんですね！でも、なんのために…？

中西 そのランナーのピッチ情報をリアルタイムに表示するんです！顔の動きでピッチを計測するという新しい試みに挑戦しました。

幅 それは凄い！特別なセンサーを使わずに、映像解析だけでやっちゃうところが新しいですね。

中西 サイバーエージェント様＆凸版印刷様によるO2Oプロモーションシステム「ジェスチャーいいね！」にもご採用いただいています。

幅 それはどんなシステムですか？

中西 イベント会場でユーザが特定のジェスチャー（例えばピースサインなど）をすると、Facebookに写真が投稿され、イベントページに「いいね！」がカウントされるという仕組みです。

幅 顔認証とジェスチャー認識の部分が、PUXさんというわけですね？

中西 はい、そのとおりです。ほかにも、某住宅メーカー様のアプリ内で、写真の中から人物が写った写真を自動的に抽出する機能に使っていただいたり、セガ様のアミューズメント施設「JOYPOLIS」に設置されているインタラクティブなデジタルサイネージにも使われています。

幅 ハードウェア等への組込系の事例はありますか？

見舘潔氏（以下、見舘） パナソニックから発売されている家電には数多く使われています。テレビ（ビエラ）やHDDレコーダー（ディーガ）、デジカメ（LUMIX）などが代表的です。ゲームセンターのプリントシール機にも搭載されています。

幅 テレビですか…？それは、どんな目的でミドルウェアが使われているんですか？

見舘 家族ごとにテレビ上で最適なメニューを表示させるという機能のために、顔認証技術が使われています。

顔認識ミドルウェアの近未来

いろいろと夢がひろがる顔認識技術。ここまで読んで頂いた方のなかには、すでに「こんな用途にも使えるんじゃないか？」という具体的なイメージがアタマに浮かんでいる方もいらっしゃるかもしれません。

そこで、顔認識技術を熟知しているPUXのお二人に、今後、顔認識の技術をどのような領域に展開していきたいかどうか聞いてみました。

幅 今後、どのような分野や領域、市場で、顔認識ミドルウェアを提案していきたいと思っていらっしゃいますか？

見舘 自動車業界ですね。

幅 おお、即答ですね（笑）。どのような利用用途を想定されていますか？

見舘 いろいろあると思います。車載系の領域はどんどん家電に近づいていますからね。シリアスな活用法としては、たとえばドライバーが心臓麻痺などの急病で運転できなくなったときに、それを画像認識で判定して、自動的に車を止めるなどがあります。

幅 なるほど。

見舘 広角なカメラさえ１台設置できれば、車内にいる全員の認識が可能になります。ナイトライダーの世界のように、車内でのエンタメ系への応用もできるかもしれません。カメラを車外に向けて設置すれば、カーセキュリティにも使えますね。

幅 ドライブレコーダーの普及や、場合によっては今後義務化なんかもあるかもしれないので、そうしたカメラデバイスの標準設置化と顔認識技術がくっつくと、いろんなサービスが生まれそうですね。

中西 あと、パチンコやパチスロなどのアミューズメント業界にも大変興味があります。顔認識技術で推定可能なお客様の属性情報をもとに、ビッグデータ解析とあわせて、ホール運営に役立てることが技術的には可能になります。

見舘 ホールに限らず、あらゆる施設内の人間の行動分析に役立つのが、顔認識です。人物検出技術によって人数のカウントがリアルタイムに可能ですし、人の出入りをカウントすることもできます。

幅 ゲームセンターやショッピングモールとかにもニーズがありそうですね。

見舘 不審物の置き去りのような異常検知にも応用できますので、空港などの防犯対策にも役立つかもしれません。専用ハードウェアの導入はコストが嵩みますが、当社の技術はあくまでカメラ側ではなくソフト側で分析する技術なので、そうした専用ハードが不要なのもメリットだと思います。

中西 でも、やっぱり、我々だけで考えているだけでは限界があります。日本を含め世界中のあちこちでハッカソンのようなIT系の技術イベントが絶えず開催されています。一部の大企業だけではなく、ベンチャーや個人開発者などが、世界を席巻するような製品やサービスのアイディアを生み出す時代になりました。

見舘 そうしたベンチャーや個人の方にも、もっと気軽にPUXのミドルウェアを試して欲しい。そのための仕掛けを準備しています。

…対談が想像以上に盛り上がってしまったので、次回も引き続き、PUXさんのミドルウェア技術についてご紹介してまいります。

ベンチャーや個人開発者に向けた新たな取り組みの詳細や、パナソニックからPUXとして独立された経緯、ミドルウェア技術やミドルウェアビジネスそのものについて、さらに踏み込んだ内容をお届けする予定です。

お楽しみに！

【申込受付中】ソシャゲー演出のためのアルファムービー作成講座

前回の記事でもご紹介した、ソシャゲーやスマホアプリの演出にスゲー役立つ「アルファムービー」の作り方。なにそれ？って方は前回記事をチェック！

このアルファムービーですが、組込みはカンタンでも肝心の動画そのものをどうやって作ったらいいか分からない！そんな悩みを少しでも解消できればと思いまして、セミナーを実施することにしました。

CRIの現職デザイナーが、実際に動画編集ツールを使いながら、わかりやすく解説します。初心者の方も大歓迎ですので、ぜひ奮ってご参加ください（むしろ初心者向けといって良いかもしれません！？）。

動画やアルファムービーを外注するSAPさんも増えていますので、今後受託する案件の心構えのためにも、このセミナーで先行してアルファムービーの作り方に慣れておくのは良いかもしれませんよ。

参加は無料ですので、今すぐ「お申込み」を！

【ひらブラ公式facebookページ】

最新記事の更新情報や、記事には書けなかったウラ話、はみだしコラムなど、『ひらブラ』に関する情報を随時更新中。ページに「いいね！」をして頂ければつねに最新の情報をアナタのfacebookのタイムラインにお届けします！

http://crimw.me/fb-hirabla

【バックナンバー】
※【ひらブラ vol.18】アルファムービーってどうやって作ったらいいの？
※【ひらブラ vol.17】タブレット向けゲームに関する緊急アンケート（プレゼント付）
※【ひらブラ vol.16】ミドルウェアだけど質問ある？
※【ひらブラ vol.15】未来から来た行商人からモノを買ってみた
※【ひらブラ vol.14】ワンフリ、ガンソ、Republique！人気アプリの「音」のヒミツ
※【ひらブラ vol.13】お台場に1000人のスマゲ開発者が集結!? CRI Uniteレポート(前編)
※【ひらブラ vol.12】行動変容の春だから…「人生をゲーム化してみよう」
※【ひらブラ vol.11】長く遊べるゲームを低コストでつくるには（ナラティブなゲームってなんだろう？）
※【ひらブラ vol.10】ゲームとムービーの歴史を振り返ってみよう！（最新の動画演出とUnity）
※【ひらブラ vol.9】目にみえないデータの恐怖と魅力（Unityオーディオの独自強化）
※【ひらブラ vol.8】CarPlayはOSか？（ゲームのリッチ化とUnityについて）
※【ひらブラ vol.7】スマホで「音ゲー」３つの課題（ハマるな危険！アプリ開発の落とし穴）
※【ひらブラ vol.6】雪を溶かすメカニズム知ってる？（プロデューサー説得トラの巻）
※【ひらブラ vol.5】ギョーカイ用語は「言葉」のブラックボックス
※【ひらブラ vol.4】gumi田村さんに訊く「ズバリ！Cocos2d-xのココが魅力」
※【ひらブラ vol.3】ドラクエの起動画面のひみつ（続・Cocos2d-xとCRIWAREの話）
※【ひらブラ vol.2】 LEDで無重力をつくる話
※vol.1-4：福袋も飛行機もゲームも？ゲーム開発を支える”黒い箱”とは
※vol.1-3：福袋も飛行機もゲームも？ゲーム開発を支える”黒い箱”とは
※vol.1-2：福袋も飛行機もゲームも？ゲーム開発を支える”黒い箱”とは
※vol.1-1：福袋も飛行機もゲームも？ゲーム開発を支える”黒い箱”とは
※vol.0：創刊準備号ということでジコショーカイ

読者の方からのご意見ご感想やご質問なども大歓迎です。以下のコンタクトフォームからどうぞ。なるべく多くの方のご意見に誠意をもってお返事したいと思っております。

幅朝徳（はば とものり）　株式会社CRI・ミドルウェア　商品戦略室 室長、CRIWAREエヴァンジェリスト。学習院大学卒業後、CRIの前身である株式会社CSK総合研究所に入社。ゲームプランニングやマーケティング業務を経て、現CRIのミドルウェア事業立ち上げに創業期から参画。セガサターンやドリームキャストをきっかけに産声を上げたミドルウェア技術を、任天堂・ソニー・マイクロソフトが展開するすべての家庭用ゲーム機に展開。その後、モバイル事業の責任者として初代iPhone発売当時からミドルウェアのスマートフォン対応を積極推進。GREE社やnhn社といった企業とのコラボでミドルウェアの特性を活かしたアプリのプロデュースも行う。近年は、ゲームで培った技術やノウハウの異業種展開として、メガファーマと呼ばれる大手製薬会社のMR(医療情報担当者)向けのiPadを使ったSFAシステムを開発、製薬業界シェアNo.1を獲得しゲーミフィケーションやゲームニクスの事業化を手掛ける。現在、さらなる新規の事業開拓や未来のサービス開発を担当する傍ら、ますます本格化するスマホゲームのリッチ化を支援するためにモバイルゲーム開発者におけるミドルウェア技術の認知向上のためエヴァンジェリストとしての活動に注力中。

趣味は、映画鑑賞とドライブ、クロースアップマジック、デジスコによる野鳥撮影、コンパニオンバードの飼育、そしてもちろん、ゲーム。

CRI・ミドルウェア　ウェブサイト
http://www.cri-mw.co.jp/