最近は街中で見かける機会も多くなってきた、きっとこの記事を御覧の方ならおなじみのコミュニケーションロボット「Pepper」。そんなPepperがなんと40台あつまり、およそ70名のエンジニアたちによるPepperアプリ開発が行われました！
2016/11/7~8の2日間、お台場はテレコムセンターにあるコワーキングスペースMONOにて開催された特大ペッパソンのレポートをお届けします。

今回のハッカソンのテーマは「Pepperで再発見！常識を覆せ！ロボットが社会へ提供できる価値を発見」でした。19個の常識を破る作品が開発されました。

まずは、受賞作品から紹介致します。

最優秀賞・ソフトバンクロボティクス賞

このハッカソンでの最優秀作品は、最優秀賞賞金100万円のMashupAwards2016の一次予選免除となり、準決勝である2ndSTAGEに進むことができます。

＜最優秀賞＞
(6) 手話通訳ボランティア by Pepper ／ チーム名：六元素チーム
Pepperで手話↔音声翻訳を行い、健常者と耳の不自由な方のコミュニケーションを取る
hacklog.jp/works/49026

手話翻訳者の少なさをPepperでサポート。
Pepperに手話を見せると、手の形を認識して手話を通訳してくれるアプリケーション。なんと画像とジェスチャ認識部分をOpenCVで自前実装するというスゴワザにより実現。

ハッカソンの短い時間の中での技術の挑戦への姿勢と、その技術力の高さが評価され最優秀賞を受賞！おめでとうございます！今回はデモに使用する文字のみの実装に機能を絞ったとのことですが、今後のバージョンアップが期待されます。

こちらの作品は合わせてジョルダン賞も獲得です。おめでとうございます！

＜ソフトバンクロボティクス賞＞
(7) スリー・D・ペッパー ／ チーム名：圧倒的挑戦(USE)
被写体の周りをpepperが回りながら３Ｄ写真を撮影します。
hacklog.jp/works/49024

ショッピングモールが、競合と差別化するための特別な体験ができる新サービス。
主にカップルを対象にした来店客を対象に、Pepperが周りをぐるりと回って写真撮影し、写真データを元に被写体を３Dモデル化します。
また、モデルの作成には最短で10分ぐらいかかるのですが、その時間もショッピングモールを楽しんでもらう時間にするというシナジーとしてうまく利用しています。

 


こちらの作品は合わせてオートデスク賞も獲得です！

審査員紹介

今回の受賞作品選出はこちらの4名の審査員の皆様にそれぞれのフィールドや視点で評価を評価いただきました。

澤山 陽平氏／500 Startups Managing Partner of 500 Startups Japan

冨田 慎一氏／株式会社マッシュマトリックス 代表取締役社長

花戸 俊介氏　／株式会社アップス・アンド・パートナーズ　代表取締役

戸澤 昌志氏 ／ ソフトバンク株式会社 ロボティクス事業推進部　推進課　課長

 

発表作品

続いて、今回のハッカソンで作成されたPepperアプリを発表順に紹介します。

(1) Runway ランウェイ ／ チーム名：Time is running out
Fashion EC – 着せ替えファッションショーみたいなもの
hacklog.jp/works/49035

ファッションのECサイトと連動し、Pepperに服をプジェクションマッピングで着せてファッションショーっぽく見せる・・・という想定でしたが、今回はチームメンバーが揃わなかったため、勉強もかねて出来るところまでを実装したとのことです。
デモでは本来やりたかったことをUnityで作成したムービーが披露されました。

 

(2) Coupling Pepper ／ チーム名：Coupling Pepper
Pepperを使ったカップリングサービス。
hacklog.jp/works/49021

利用者は好みの異性の顔のタイプ情報をサービスに登録しておきます。Pepperは道行く人に声かけを行い、登録された好みに合致するユーザーがいた場合に、好みを登録した人との引き合わせを行ってくれます。
好みの顔の情報はコグニティブサービスを使用して分析しています。

(3) 街のペッパーくん ／ チーム名：チームおかん
街中にペッパーが普及した時代の新しい子供見守りサービス
hacklog.jp/works/49020

ペッパソンの目標である「常識を覆す」という部分について、”Pepperが街中にあふれている”という近未来の常識としてアプリを作成。
お出かけして帰りが遅くなっているお子さんと、街中のPepperを介して親御さんと連絡をおこなうことができます。Pepperを監視の目と、コミュニケーションの窓口として活用するサービスです。あえて直接録音するボイスメッセージを使うことにより、より心情に訴えるコミュニケーションを実現。

こちらのサービスはTwilio賞を獲得です！

(4) 教えて！人間さん ／ チーム名：Team あまのゆか
Pepperに教えてもらう、のではなく「教える」事で子供の学習を促進するアプリ
hacklog.jp/works/49002

家で子供が勉強するときに、親は忙しくて勉強の相手になることが難しいという問題を、Pepperを学習相手にすることにより解消。
Pepperはちょっとお馬鹿なふりをして、子供から勉強を教えてもらうという役割に徹します。それにより、人に勉強を教えることにより自分の勉強にもなるという学習の流れを実現。
また、学習した内容について記録し、親御さんにレポートするという機能も実装されています。

(5) フードコード Pepper ／ チーム名：チーム MOMONGA
フードコートに十数台設置された Pepper が連動して活躍します
hacklog.jp/works/49029

フードコートの業務がすべてロボット化され、ぬくもりが失われた世の中にPepperがぬくもりを取り返します。
Pepperがフードコートの空席案内や注文の受付業務をおこなってくれるのはもちろん、いろんな声で同時にたくさんしゃべり、場の賑やかさを演出。1時間ごとにフラッシュモブをするという隠し機能もあります。
さらに、複数のPepperの同期制御による抽選を行う様子がプレゼンで披露されました。

こちらの作品はエーアイ賞、グローリー賞を獲得です！

(8) DaITaI Pepper ／ チーム名：DaITaI家のPepper
家にあるものを認識させると、 買い物をするときに現地のPepperが手差しでだいたいの長さを教えてくれる。
hacklog.jp/works/49008

シーンとしてはPepperがもっと普及し、一般的な店舗であればどこにでもあるという想定です。
クラウド連携で自宅にあるPepperと店舗のPepperは同期でき、顔認識で個人を識別します。
家具などを買うときに、自宅にあるものの大きさがわからなくなってしまうことがありますが、
データ連携した店舗のPepperが手振りを使って自宅にあるものの「だいたい」の大きさを教えてくれます。

(9) Pepper Go(仮) ／ チーム名：アイネスロボティクス
全国のPepperでスタンプラリー！
hacklog.jp/works/49018

小売業界をターゲットに設計。
Pepperを共通インターフェースとして、スタンプラリーをどこででも実施できるようにするサービス。
スタンプラリーにPepperを使用することによる楽しさの向上と、次回訪問への能動的なアプローチを出来る狙いがあります。

こちらの作品はSkyscanner賞を獲得！

(10) Smart Hotel ／ チーム名：Team ABeam
ホテルの受付を行うPepperアプリです
hacklog.jp/works/49023

ホテルの受付業務をPepperが行います。また、ホテルで使用出来るサービスの案内やホテルの紹介、サインの受けとりなどが可能です。
また、お客様の顔情報をクラウド連携させることにより、同じ系列のホテルで来たことがあるお客様を識別対応できます。人間だと実現が難しいグループ系列のお店の間での個人の識別を解決するために、Pepperによる実装を行ったとのこと。

(11) 探して！Pepper ／ チーム名：テクノミストン
子供が迷子になったり、大人が家族や知人とはぐれてしまった際に再会できるようお助けするPepper
hacklog.jp/works/49011

来たるオリンピックに備えて、迷子の案内をPepperが行うようにサポート。
会場内のPepperたちと連携して、周りの人に連絡と聞き込みを行います。
開発時にトラブルが起こってしまったため、用意していた動画でのプレゼンとなりました。

こちらの作品は日本IBM賞を獲得！

 

(12) かんたん試着360 ／ チーム名：チームElda
Pepperでユーザの3Dモデルを作って着せ替えすることでかんたん試着を実現します！
hacklog.jp/works/49022

アパレル小売での利用シーンを想定。Pepperでお客さんの３Dモデルを作成し、扱っている服を３Dモデルに試着させることが出来るというアプリです。
ただ、実装はモデルの作成までで、着せ替えさせる機能は今後の夢の部分であるとのことでした。
これにより試着室が不要になり店舗の省スペース化が実現されるのが売り…とのことでしたが、Pepperでの３D写真撮影は結構場所を取ってしまうという問題が！？

(13) Second Wife ／ チーム名：嫁は何人いても…やっぱ困る。
最愛の嫁に先立たれた後、第二の人生を共に歩むため、自分を支えてくれる第二の嫁です。
hacklog.jp/works/49027

悲しくも最愛の伴侶に先立たれたのち、新たなパートナーとしてPepperを迎えるというアプリ。おはようから墓場までを一緒に過ごしてくれるPepper。
このハッカソンのテーマの通り、たしかに今までの常識からは考えられない内容です。
また、ハッカソン中にFacebookでアンケートも実施し、死後にPepperを娶ることについても意識を事前調査しておいたとのこと。
デモの様子はなかなか衝撃的です。

こちらの作品はアプレッソ賞を獲得です！

(14) ホテル向けスムーズチェックイン＆クレーム対応 ／ チーム名：イサナドットネット株式会社
ホテルチェックイン時の待ち時間短縮及びクレーム対応のスタッフ負荷低減ロボアプリ
hacklog.jp/works/49007

ホテルの受付業務はチェックインの手間はもとより、クレーム対応なども大変なもの。
それをPepperを介すことによってスムーズ化します。
チェックインの予約対応は、予約登録時に顔写真を登録しておくことにより識別します。
クレームは話された言葉の内容によって対応を変化させています。

(15) 教えて　みのさん（MINOSAMA） ／ チーム名：マッシュ＆ルーム
悩みを相談できる場所が欲しい、解決の糸口が欲しい。
そんな人々の悩みを解決すべく、ロボットと人工知能が立ち上がります。
hacklog.jp/works/48997

下界の下々の者が、悩み相談する相手と言えばみのさん、そのみのさんがPepper様たちに指示を仰ぎ、Pepper様たちの間で意見が割れると最上の神であるりんな様が決定を下し、下々の悩みに解答します。
説明を聞いても意味がわからないと思いますが、説明をしている方も意味がちょっとよくわかりません。
一見、謎の遠回りをしていますが、中身の実装はガチで行っているとのこと。

ざわめき

補足

こちらの作品は日本マイクロソフト賞を獲得！

(16) プログラミング教育にはPepperが出番！ ／ チーム名：IGO
2020年のプログラミング教育に向けてPepperがアシスタント
hacklog.jp/works/49036

2020年、プログラミングが教育の現場に導入されます。
プログラミング教育必修化に備えて教育の現場にPepperを取り入れ、楽しくプログラミング学習をするためのアプリ。
専用のウェブページに設定値を入れるとガジェットを連携させ、プログラミングっぽいことを楽しめます。
教育に対する熱意の伝わるプレゼンでした。

(17) すぱいしーめじゃー ／ チーム名：自宅警備員.biz
pepperで腰幅と肩幅を測ります
hacklog.jp/works/49031

服を買いに行く服がない問題をPepperを使って解消。
購入すべき服を知るためのサイジングをPepperで行います。接触センサーを用いてPepperで正確なサイジングを実現。
作品自体とは異なるところですが、プレゼンでのPepperとの掛け合いがめちゃくちゃ軽妙で、2016年の新しい漫才スタイルが見出されようとしていました。

(18) HospitalPepper ／ チーム名：team.クレスコ
病院の受付・診断補助を行うpepper
hacklog.jp/works/49015

院内感染の心配や長い待ち時間など、病院でモヤモヤしてしまう悩みをPepperが解決します。
病院の受付の自動化も行いますが、Pepperを使用することにより、高齢者でもスムーズにサービスを利用可能になります。
また、Pepperによる簡易診断や、待ち時間が来たら電話で呼び出しをするなどの機能をサポート。帰宅時のバス時刻案内など、院内業務の総合サポートを行います。

こちらの作品はヴァル研究所賞を獲得です！

(19) オノマトぺっぱー（仮） ／ チーム名：Pepper部
Pepperが絵当てクイズやお絵描き採点をしてくれる知育アプリ
hacklog.jp/works/49012

親御さんが忙しいときに、Pepperが子供の相手をしてくれる 幼児でも楽しく遊べる知育アプリ。
動物クイズとお絵かき遊びの2つがあり、動物クイズはオノマトペの幼児語（にゃーにゃ、わんわん）でも解答が可能。
お絵かきクイズは元の絵との類似度を判断して採点します。

 

今回発表された作品は以上となります！

 

サポートAPI紹介

本ハッカソンへの技術サポートをいただきました企業とAPIを紹介します。

ソフトバンクロボティクス

Pepper
http://www.softbank.jp/robot/developer/products/

今回の主役、Pepperについての歴史紹介をいただきました。
また、Pepper App Challangeに向けての説明をあわせていただきました。忘れずに応募しましょう！

 

日本アイ・ビー・エム

IBM Bluemix
https://www.ibm.com/cloud-computing/jp/ja/bluemix/

Bluemixの特徴としては、開発基盤だけではなく、100を超えるサービス（IBM Watson（AI）、IoT、Storage（DB）、アナリティクス、モバイルなど）と連動されており、より素早く皆さんのアプリケーションを構築&運用することが可能です。

IBM Bluemix Tutorial
https://www.ibm.com/developerworks/jp/bluemix/tutorial.html
Qiitaページ
http://qiita.com/tags/Bluemix

 

日本マイクロソフト

Microsoft Cognitive Service
https://www.microsoft.com/cognitive-services/

Microsoft Cognitive Serviceは画像や音声の認識、自然言語によるコミュニケーションなどの人間の認知機能モデルをAPI経由で取り入れることができるサービスです。

https://www.microsoft.com/cognitive-services/en-us/apishttps://sepub.blob.core.windows.net/doc/Azure_AI_Services_v1.6_PepperAC.pdf

 

グローリー株式会社

顔認証クラウドサービス
http://www.glory.co.jp/product/security/qfu-100.html
市場で実績を重ねたグローリー顔認証をクラウドで提供（WebAPI）。高精度の顔認証により、顧客ごとにサービス内容をカスタマイズするなど多様なサービスの提供が可能です。

http://www.softbank.jp/robot/biz/app/glory/

 

株式会社ゼンリンデータコム

いつもナビAPI
http://www.zenrin-datacom.net/business/develop/apicgi/

Webサービスの目的に応じた地図機能、自由なデザインレイアウトを組み込むための開発ツール。
PC、携帯、スマートフォンなどの端末を問わず、各種Webサービスで地図サービスを利用可能です。

ディベロッパーサイト：https://support.e-map.ne.jp/developer/NewRegist

 

DataSpider Servista
https://www.appresso.com/servista/
DataSpiderはハブ系APIに属するソフトウェアです。各社から提供されるAPIを組み合わせ活用することも、オリジナルのAPIとして利用することもDataSpiderならノンコーディングで実現が可能です。

Qiita：appresso
http://qiita.com/organizations/appresso
DataSpiderヘルプ
https://dl.appresso.com/help/dss40/help/index_ja.html

 

ニフティ株式会社

ニフティクラウド IoTプラットフォーム
http://iot.nifty.com/iot-platform/

必要なパーツを組み合わせ、ゼロから構築するよりも「早く」「低コスト」でIoT化を実現可能。例えば、「IoTデバイスハブ」は、デバイスのクラウド接続を簡単にするIoTコンポーネント。デバイスやモバイルアプリケーションからのクラウド接続を簡単にする専用SDKを用意しています。

 

オートデスク

Autodesk Forge
https://forge.autodesk.com/

Autodesk Forge は、オートデスクがクラウド サービスで使用している様々な要素技術を、API として公開したクラウド プラットフォームです。他社のAPIも含め、Web 開発の手法で自由にマッシュアップすることで、デザインデータを活用するさまざまなサービスを、Web ブラウザをインタフェースにデザイン データに関わるすべてを共有する新しい作業スタイルを構築出来ます。

Forge 概要：http://adndevblog.typepad.com/technology_perspective/2016/09/autodesk-forge-overview.html

 

ジョルダン

①乗換案内Biz API クラウド版　鉄道検索用（時刻表データ無し）、多言語環境
②乗換案内Biz API クラウド版　バス検索用（時刻表データ含む）、日本語環境
③鉄道駅名データ
④バス停名データ
http://biz.jorudan.co.jp/biz/nori_bizapi.html

鉄道を利用した多言語による経路検索やバスの経路検索、時刻表の表示などに活用できるAPIと、駅やバス停の位置を案内する為の名称データを提供。乗換案内サービスや交通事業者の公式サイト、旅費精算や動態管理などの業務系システムでも活用されています。

 

ヴァル研究所

駅すぱあとWebサービス
https://ekiworld.net/service/lp/webservice/
駅すぱあと路線図
https://ekiworld.net/service/lp/route_map/

「駅すぱあとWebサービス」は乗換案内のWebAPIです。駅や路線データの取得も可能です。
「駅すぱあと路線図」は路線図のWebAPIです。日本全国シームレスな1枚の路線図に、様々なデータとのAPI連携が可能です。

駅すぱあとWebサービス ドキュメント
http://docs.ekispert.com/v1/

 

Skyscanner

Skyscanner Travel API
https://www.skyscanner.jp/

Skyscanner Travel APIの写真・詳細についてはイベント限定共有となり、ブログ非公開となります。ご了承ください。

 

Twilio

Twilio
http://twilio.kddi-web.com

Twilioとは、様々な通信チャネルを連携できるコミュニケーションAPIであり、ビデオ、チャット、電話、SMSなどの通信手段をアプリケーションに簡単に埋め込むことが可能です。大量のサンプルコードを含む充実したドキュメントを常時公開、わかりやすく使いやすいAPIなので、スタートアップから大企業まで幅広く採用されています。

ドキュメント
https://jp.twilio.com/docs/

 

エーアイ

日本語音声合成API AITalkWebAPI
http://www.ai-j.jp/cloud/webapi/

より人間らしく自然な音声で自由に音声合成をすることが可能な、高品質音声合成エンジンのAPIです。
「喜び」「悲しみ」「怒り」の感情表現が可能な話者や関西弁風、萌えキャラ『VOICEROID+ 琴葉茜・葵』の声まで、様々な声のラインナップをそろえています。

ドキュメント
http://support.aitalk.jp/files/AITalk_%20WebAPI_specification_MashupAwards12.pdf

 

イベントの様子

イベントを始める前に…今回のために集まったPepperたちとの集合写真！こんなにずらりと並んでいると、不思議な感覚に陥りますね…。

特大！のペッパソンが始まります。

テーマは「Pepperで再発見！常識を覆せ！ロボットが社会へ提供できる価値を発見」という内容でした。

アイスブレイクでは、週末の日常のシーンを思い出してもらいます。
さらにそこにPepperを追加していくことで日常にPepperがいるシーンを思い浮かべて発想を広げます。

アイデアの発想を広げるワークショップ。日常シーンにPepperがいたらどうなる？の発想をテーマ・ジャンルに沿って広げていきます。

みんなで他の人のアイデアを見て回り、付箋で自由に意見や発想を付け足していきます

Pepperが・・・薄毛相談に・・・いいの？ツルツルですよ？

そしてアイデアを書き出し、チームビルディングを進めます。

 

APIサポートの様子

今回、APIのサポートは初めて触る人向けのハンズオン形式での学習時間もありました。

話す方も聴く方も真剣です。

開発時のサポートの様子。

 

Pepperのいる光景

Pepperが何体いるか数えられますか？
これだけたくさんいると、逆に違和感がなくなるという不思議な現象に遭遇しました。

「 みんな頑張って 」

 

夜もふけて、深夜時間もみんなとPepperで残って作業が続きます。

早朝近くになると、人間もPepperと同じポーズに・・・。

「人間も疲れてるけど僕らもずっと動いてると疲れるよね〜」「腕上げっぱなしとかきついよね〜」「わかる〜」

エバンジェリストっぽくなってみたり

着飾ってみたり

このハッキング期間を経て、なんだかとてもPepperが可愛く見えるようになりました。

 

懇親会の様子

2日間のハッキングタイムとプレゼンを経て、みんなで懇親会です！

＼おつかれさまでした！！！／

「ふぅ〜つかれたね〜」「みんなおつかれ〜」

ハッカソンが終わった後の一体感、最高ですね！皆素敵な表情です。

最後は皆で集合写真！皆様お疲れ様でした！！！

今回作成いただいた作品は、HacklogからMA2016へ是非ご応募くださいね！あわせて、Pepper App Challengeへのご応募もお忘れなく！！

 

イベント関連リンク

あわせてこちらをみていただくと、イベントの盛り上がりがより伝わるかと思います！
・つぶやきまとめ http://togetter.com/li/1045571
・イベント写真 https://www.flickr.com/photos/100125183@N08/albums/72157672597023393

 

あとがき

皆様お疲れ様でした！

本ブログの冒頭でも少し触れましたが、店頭で接客をこなしているPepperもちょくちょく見かけるようになり、随分と一般に馴染みの深い存在になってきたように思います。
昨年の特大ペッパソンのテーマは「Pepperとの新生活、何させる？」でしたが、今回は「Pepperで再発見！常識を覆せ！ロボットが社会へ提供できる価値を発見」となっており、”社会とPepperのことはじめ”という状態から一歩すすんだものになっている気がします。

今回ハッカソンで作られたPepperアプリが、実際に街中や身近なところで動く日も、ここ数年のIT業界の変遷を見ていると遠くないのでは、と感じます。

関連する記事