β版を触りたい人集合！Facebook AR Studioハッカソン！

MashupAwards2017の予選がどんどん行われております。今回レポートする予選は2017最後のハッカソン予選。東京で開催されたFacebook ARStudioのハッカソン

テーマは「いままで見たことのないARStudio」ということで、動作や顔認識機能を活用するアイデアや、外部ソースやデータと連動するものを期待するというもの。
遠くは滋賀からの参加もあり、作られた作品は9作品。自己紹介の時「ARStudioに興味があって」「ARStudioを触ってみたくて」という話が多かった通り、まだβ版のこのサービスを使ってみたい、触ってみたい！という雰囲気あふれるハッカソンとなりました。
※Facebookさんとのハッカソンは今年で2回目

今回サポートして頂いた技術は以下の7つです。

作品紹介

まずは審査員の方に選んでいただいた、上位3作品の紹介からです。最優秀賞チームには、賞金総額400万円の日本最大級の開発コンテストMashupAwardsの準決勝の進出権が授与されます。

＜最優秀賞＞
■作品名：ARマンガエフェクト / チーム名：ARマンガエフェクト
音声認識した文字列を、マンガ風のふきだしで表示します
http://hacklog.jp/works/52293

IBMCloudの音声認識、感情分析を経て抽出したデータをmilkcocoaに格納し、ARStudioのエフェクトを変化させる。「悲しい」というと、どよーんとしたエフェクトとマンガの吹き出しっぽくテキスト化。終電の時間も聞くと駅すぱあとウェブサービスで計算しエフェクト内で教えてくれるよ。

「とても悲しい」と言うとエフェクトに反映されるデモ

最優秀賞おめでとうございます！副賞はFacebookロゴが入ったバッグ等ノベルティ！うらやましい！

こちらの作品は、ヴァル研究所賞、IBM賞も受賞したよ！

 


■作品名：Buzz Life /チーム名： team Buzz Life
楽曲のとあるフレーズで，全員が同じジェスチャをするように指定してエフェクトを表示．それをシェアすることでみんなの一体感を共有する
http://hacklog.jp/works/52299

楽興のとあるフレーズで行われる「決めポーズ」。ARStudioの顔認識機能を使用し、きちんと「決めポーズ」ができたかを判定。成功したら特殊なエフェクトが見られるよ。また、これらを色々な人と同時に行う事でフラッシュモブ的な一体感も生まれる。

今年流行したパーフェクトヒューマンに連動し、サビのタイミングで顔を横に傾けるとサングラスエフェクトが搭乗するデモ


最後の講評の際にBradが「ソーシャルのインタラクションはまさにソーシャルの次のステージ」と言わしめた、新しいARStudioを体現した作品だったようです。

■作品名：フェイス スマッシュ / チーム名：チームおらおら
FacebookARstudioにて格闘ゲーム対戦を可能に。顔を動かしてコマンド入力で必殺技を出そう
http://hacklog.jp/works/52289
Facebookアプリのカメラエフェクトにて自分の顔を動かして必殺技をだして2人で格闘ゲーム対戦を可能に。今まで1人用だったカメラエフェクトが対人ゲームへと進化した作品。

対戦のデモ。（デバッガーとの対戦なので、挑戦者は圧倒的に不利　笑】

このチームはウフル賞とオーディエンス賞（参加者投票）を受賞！

ARエフェクトは女性が好んで使う印象があるので、自分達は男性うけするものを作りたい！という思いではじまったこのチーム。
最後まで男性向けのコンテンツをやりきりました。（タッチ＆トライではみんな楽しそうでした！）

 

今回の審査は、AR Studioを活用した「オリジナリティ」と「完成度」を基準とし以下の2名の方にお願いしました。
お二人とも本国で、AR Studioβ版の開発とパートナー支援に携わっています。
・Chris Barbour – Strategic Partnership Manager（左：本人は米国からの中継審査）
・Brad Heintz – Partner Engineer（右：２日間とも本ハッカソンをサポートしてくれました）

 

審査員による、上位3作品は逃したものの、他の作品もオリジナリティ溢れるものばかりだったのでご紹介します。順番は発表順になります。

 

■作品名：空前絶後のヘッドバンキング / チーム名：チーム青みっくちゅ
空前絶後で超絶怒涛な男があなたに憑依してヘドバンします
http://hacklog.jp/works/52312

芸能人の顔ハメを作りイケメンになろうとしていたら、サンシャイン池崎さんのインパクトが強すぎてサンシャイン池崎さんになれるエフェクトを作ったというチーム。指示通りに（サンシャイン池崎さん風に）、頭を振るゲームを作りました。

頭を振るとサンシャイン池崎さんの顔になってしまう動画。

こちらのチームの２人はとあるサービスのサポートで来られたという事は内緒。
（もちろんしっかりサポートもされていました）
こうやってサポート企業の方も、参加者の方も一緒に作る、一緒に競うってとっても良いと思います。
この作品はシンプルながら、みんな楽しんで試してましたねー。

 

■作品名：「カラカメ」 / チーム名：カラカメ
感動の一瞬を切りとる カラオケCamera
http://hacklog.jp/works/52297

カラオケのジャンル（演歌、アニメなど）に合わせて、エフェクトがかかります。指定された言葉を言うとエフェクトが変化もします。

 

■作品名：THEAVATER / チーム名：Unreal VisualStere0 Inc.
自分の動きを真似するアバターだが少し、違う動きをする。
http://hacklog.jp/works/52294

自分の動きを真似するアバターだが少し、違う動きをする。基本的にフェイシャルトラッキングがどこまでできるのかの確認用に作ったとのこと。口をあけると目が光ったりするギミックも搭載。

口をあけると目が大きくなるデモ

 

■作品名：Wonderful Photo / チーム名：Tropicana
離れた友人・家族・恋人に自撮りでお祝いメッセージ！Wonderful Photo！
http://hacklog.jp/works/52291

誕生日等お祝いしたい相手の写真と合成したエフェクトを作れる。口をあけ笑顔を作るとそれを認識し、合成した相手も笑顔の写真になるので、二人共笑顔で写真がとれる。また、別入力でお祝いを言うと、エフェクト上におめでとうと表示されます。

 

■作品名：Feath Note – あなたの残り寿命は!? /チーム名： Feath Note
残り寿命を表示するARカメラサービス
http://hacklog.jp/works/52290

デスノート風に撮影されている人の寿命（適当？）が秒単位で表示されるエフェクト。目を閉じて口を開けると死神モードのエフェクトに。
milkcocoa経由でMESHと連携をしており、MESHを動きダグを倒すと死を迎えるエフェクトに変化。MESHのボタンを押すと生き返ります。

一連の流れのデモ。

こちらの作品は、SONY賞を受賞！

 

■作品名：意識高いフォトジェネレーター /チーム名：Ahead of the curve
Youのスナップショットにオートで意識高い系のワードなどがプロセッシングされるピクチャーフレームLIKEでCoolなサービス
http://hacklog.jp/works/52284
意識高く見えるモノクロのエフェクトに、意識高いキーワードを人物と重複しない所のせていく。そんな意識高いフォトを量産するエフェクト。

タップすると意識高いキーワードが変化するよ。

この作品はヴァル研究所賞を受賞！

 

以上が、今回のハッカソンで作られた作品です。作品一覧はこちらから→　http://hacklog.jp/events/144

 

技術サポート

今回のハッカソンでは、主催であるFacebook （ARStudio）、ヴァル研究所（駅すぱあとウェブサービス）、ウフル（enebular、Milkcocoa）、SONY（Rocro、NeuralNetWorkConsole、MESH）、IBM（IBMCloud）の5社さんにサポートいただきました。

 

＜ARStudio/ Facebook＞
AR Studioは、まだニッチで限られた開発者・クリエーターのみが扱える技術だと思われているAR をGUIベースのツールとして提供するサービス。これまで複雑なコーディングが求められていた動作や顔の表情 を認識する等の機能を、コードを書くことなく実現でき、また、 外部ソースのデータを取り込みにより、アートと融合する事も可能 です。
当日はパートナーエンジニアのBradも本国からサポートに来てくれました。

＜Neural Network Console/ SONY>
学習・評価だけでなく、ニューラルネットワークの設計までも可能なディープラーニング・ツールです。

＜MESH / SONY>
さまざまな機能を持つ消しゴムサイズの電子タグ(MESHタグ)をモノやコトと組み合わせるだけで、だれでも簡単にデジタルなものづくりができるスマートDIYキットです。

＜ROCRO /SONY>
ソニーが提供する自動コードレビュー＆コード修正サービスや自動負荷試験サービスを提供する、総合開発者支援サービス。

＜enebular, Milkcocoa / 株式会社ウフル＞
エッジとクラウドを “つなぐ” IoTオーケストレーションサービス「enebular」。そして、IoTメッセージングサービス「Milkcocoa」。この2つを利用すると、無料ですぐにデバイスからクラウドを経由してアラートを受け取ったり、デバイスからクラウドへデータを送信して可視化や分析したり、クラウドからデバイスを操作したり、さまざまなIoT体験が可能に！

＜Bluemix｜IBM＞
パブリック・クラウドのアプリケーション開発・実行環境。WatsonなどのAIをはじめ、様々なサービスをAPIとして提供しています。

＜駅すぱあとWEBサービス＋路線図｜ヴァル研究所＞
駅や路線データの取得ができる「駅すぱあとWebサービス」と、日本全国シームレスな1枚の路線図に、様々なデータとのAPI連携できる「駅すぱあと路線図」をご提供

 

イベントの様子

本日の司会は私が務めさせていただきました。

最初は、みなさまの自己紹介から！今回のハッカソンに参加した理由等を披露します。
Facebook社内を見てみたかったという方やARStudioに興味がある！という方が多かったですね〜

次に、技術サポート企業のみなさまからのインプットセミナーです。

その後は、休憩兼ねてサポート企業のみなさまへの質問タイムです。

それが終わればアイデアソン！キーワードカードと「ARStudio」の掛け合わせアイデアを書き出し、共有しあいます。

アイデアを取捨選択肢、ペアブレストで客観的なフィードバックを受けます。

そしたら、アイデアの清書をし、みんなのアイデアを見て回ります。

そして、アイデアをベースにチームが結成します。（2つのアイデアが合体してチーム結成！）

チームができたらハックスペースに移動し、ランチ。素敵な空間！豪華！

うまかったー。。

チームでご飯食べながらアイデアをブラッシュアップします。二日間でやれるところまでまとめようね。

この時間帯でBradと同じくパートナーエンジニアのkunさんが各チームをヒヤリングしてくれます。

その後、今回のハッカソンで作るものをまとめて発表します。

それが終われば、あとはハッキングタイムです。（みんなもくもく）

途中でARStudioとRocroのハンズオンも開催。

MAはハッカソン中に、興味のある方のみを対象にハッカソンとは別の部屋でハンズオンを開くことがあります。
しかし、さすがに今回ARStudioのハンズオンは、参加者（＋サポート企業の皆様も）全員参加でしたｗ。
すべて英語での説明でしたが、kunさんの通訳はいります。

（引き続きもくもく）

質問質問、サポートサポート

中間報告をして、初日は終了！おつかれさまー！

集合後もオンラインサポートは続きます。（ブラッドさんありがとうございます！※この投稿は深夜１時過ぎ）

2日目の朝はcoffeeとドーナツ＋スコーンがみなさまをお出迎え。入館が厳しいのでみんなの集まりもいいぞ！

2日目はランチが早いよ！12時にはランチのバターチキンカレーの準備が整っております。オニオンフライやサラダも。

ご飯の時はみんな笑顔です。ゆったりソファーのある休憩スペースで食べるチームも。
（今回は本当に食事が充実していました。さすがFacebook）

午後はひたすらモクモク。

ARStudioの検証は首を横に降ったり、傾けたり、こんな顔したりｗ

ゆったりソファースペースで開発しているチームもでてきました。

そして、成果発表の時間です。最初は、各チーム1分ぐらいみんなの前で、作品の概要を話してもらいました。

その後審査員が各チームに回る形の審査方式をとりました。

説明には通訳も入ります。もちろん、直接説明する参加者も！（英語ができるって素晴らしい）

同時に、審査以外のチームは、参加者同士のタッチ＆トライです。

審査が終わったら…懇親会です。めっちゃうまそう！

みんなでわいわいとした後…最後に審査結果を発表して、終了です！

お疲れ様でした！

最後はみんな、Facebook社に痕跡を残す作業で大忙しでした。

 

MashupAwards2017

最優秀賞100万円の日本最大級の開発コンテストであるMashupAwards。今日が最終〆切。

今年の変更点などは、キックオフブログなどを参考にしてみてください。
→【MashupAwards2017応募開始】キックオフ〜言葉じゃ伝わらないから作るんだ〜

そして、最後にいっていたように、「まだ終わりじゃない」。
家につくまでがハッカソン。ではなくて、「ブログを書くまでがハッカソン！」

そして、そして、ハッカソンが終わっても、コンテストの応募〆切まではまだ時間があります。（8時間ぐらいだけど）
まずは応募してもらい、もしも勝ち上がったら、発表のたびに作品をブラッシュアップするきっかけにしてほしいです。
ハッカソンで負けた作品のほうが、本戦で勝ち上がるジンクスがあるから、まだ諦めないで！

イベント関連リンクこちらをみていただくと、イベントの盛り上がりがより伝わるかと思います！
●つぶやきまとめ（togetter）　：　https://togetter.com/li/1170788
●写真（flickr）　：https://www.flickr.com/photos/100125183@N08/albums

●関連ブログ
・FacebookのAR studioハッカソンに参加して思ったこと（参加者ブログ）
・Facebook ARstudioで顔ぴったりフィットのコツ+その他ハマりどころ／さわらブログ

蛇足

10917872_810999818947686_4210908168556890190_n　鈴木まなみ（＠Rin2tree）

今回のハッカソンは、新しい技術である「ARStudio」に興味をもった参加者が集まり、いつもとは違った空気感のハッカソンでした。やはり、技術は作りたいものがあると、習得への集中力がかわりますよね。

また、今回の会場はFacebook社で開催したのですが、セキュリティが厳しいこと厳しいこと。トイレにいくのは簡単なのですが、会場に戻ってくるには、強面のセキュリティ担当の方がドアをあけてくれないと、会場に戻れません。
毎回、ドアを開けてくれたスティーブ！本当にありがとう。

強面だけど、中身はとってもフレンドリー。こんな感じで、会場から見える景色などを案内してくれたりしました。

 

 

＜MashupAwardsイベント情報 ＞
以下のコミュニティページ・アカウントにて優先的に公開していますので、是非ご登録をお願いします。

Compassコミュニティ https://mashupawards.connpass.com/
Facebookグループ https://www.facebook.com/groups/382075595204788/MashupAwards
Twitter https://twitter.com/mashupaward

 

関連する記事