Kinect 3Dセンサーに関する続報（２）ー日本人技術者の活躍！

先日、ご報告申し上げました安価なKinect３Dセンサーの
ドライバーやライブラリー公開とオープンな開発者コミュニティOpenNI設立の記事
ですが、この６日間で、４，０００以上のユニークビジターの方々に
お読みいただき、８，０００を超えるページビューがありました。

日本からの興味の高さを示すべく、OpenNI管理者が選んだ、
OpenNI利用の優秀デモビデオに、３人の日本人技術者の作品が選ばれました。
また、MIT CSAIL研究所の人物追跡（キネクト+ルンバ）や、
南カリフォルニア大学におけるバーチュアル・リハビリの試みなど、
この６日間の成果を以下のURLに続報としてまとめましたので、
ぜひ、ご覧ください。

http://bit.ly/OpenNI_2

特に、上から３番目のビデオは、たぶん、ご夫婦なのでは？
と思われるのですが、すごく楽しそうに実験しておられて、
観ていてるだけで、楽しくなります :)

オープンな Kinect ３Dセンサーの応用例 最新情報（日本人技術者の活躍やデモビデオなど）！

米国時間１２月８日に発表されたKinect 3Dセンサー開発元によるドライバーや骨格トラッキングの公開や、開発者コミュニティOpenNI設立の記事を受けて、このたったの６日間だけで、多くの進展がございました。OpenNIやROSのコミュニティで紹介された進展状況をご報告申し上げます。

OpenNIで紹介された日本人技術者の活躍

ミクミクダンス＋Kinect＋OpenNI+Sinbad

初音ミクと一緒に動いてもらった

２人のトラッキング（OpenNIとROS niの利用）

OpenNIとROS niの利用例

キネクト＋ルンバ＋OpenNI+ROS => 人追跡ロボット（MIT CSAIL研究所）

OpenNI利用例

バーチャル・リハビリ＆ミドルウェアFAAST（南カリフォルニア大学）



OpenNIの原文
ROS.orgニュースの原文

Kinectの３Dセンサー開発元によるドライバーや骨格トラッキングライブラリーの提供

先月の販売開始より、値段の安さ（１００～１５０ドル）、
使いやすさと深度データの正確さとスピードなどにより、
多くのビジョンやロボット研究者の間で反響が高い
マイクロソフトKinectですが、その３次元センサーを開発した
イスラエルのPrimeSense社が、本日、
　　ー　画像と音用の低位ドライバー
　　ー　NITEライブラリー
　　　　ー　骨格や手をトラッキング
　　　　ー　シーン解析により複数の人を判定
をオープンソースとバイナリーの形で、無償公開いたしました。

また、PrimeSense社自身が提供しているハードウェア
を含む開発者用キット
　　ー　USBのみによる電力供給
　　ー　Kinectより小さく、軽量
の購入予約も始まりました。

弊社は、PrimeSense社、Side-Kick社とともに、
"Natural Interaction"（自然なインタラクション）を利用した
アプケーションをオープンに育成するための開発者組織
OpenNIをスタートさせました。

以下のデモビデオや詳しい内容は、

NITEライブラリー
　　骨格のトラッキング
　　手のトラッキング
　　シーン解析
ROS-Kinectの利用例
　　Kinectを用いた障害物回避とクァッドローターの自律飛行（カリフォルニア大学バークリー校）
　　映画マイノリティ・レポート風「手の認識」（マサチューセッツ工科大学CSAIL研究所）
　　チェス・ロボット（インテル研究所＆ワシントン大学）

http://bit.ly/OpenNI

にてご覧いただけますので、
ご高覧賜りますようお願い申し上げます。

PrimeSense社ドライバーを公開、オープンソース・コミュニティOpenNIを開始

安価な３次元センサー、マイクロソフトKinect™の赤外線深度カメラを開発したイスラエルのPrimeSense™社は、"Natural Interaction™"（自然なインタラクション）を利用したアプケーションをオープンに育成するための開発者組織OpenNI™をスタートさせました（注：Willow Garage社も創立メンバーとなっています）。

育成努力のはじめとして、プライムセンス社は、マイクロソフトKinect™やプライムセンス社の開発キット5.0(PSDK 5.0)やその他のデバイスに用いられているRGB-Dカメラ向けのオープンソース・ドライバーを公開し、OpenNIの開発者コミュニティ向けに、ハードウェアを提供することになりました。これは、開発元からのカメラやセンサーへの直接のサポートを可能にし、商用利用されている実際の方法が提供されることになります。また、低位ドライバー（画像と音センサー）や高位ソリューション（コンピュータービジョンやトラッキング）との通信を可能にするオープンソースのOpenNI APIも公開されます。最後に、ジェスチャーなどの"Natural Interaction™"を利用したアプリケーションの開発を可能にする骨格（スケルトン）をトラッキングするNITEライブラリーもWindowsとUbuntu向けにリリースされました。Willow Garage社は、PrimeSense社とともに、オープンソース・ドライバーを公開する作業を進めてまいりましたが、PrimeSense社のOpenNI創立メンバーに加われたことを、光栄に存じます。

プライムセンス社のRGB-Dセンサー（カメラ）は、ロボットやその他産業用途に、大量生産される安価な３次元センサーを提供し、輝かしい将来の幕開けとなりそうです。OpenNIは、HRIやHCI（人とロボットやコンピューターとのインタラクション）における３次元認識の利用を加速化させ、３次元認識技術が急速に進化しても、新しいセンサーやライブラリーやアプリケーションが互換性を保つことに貢献します。

この数週間、弊社は、libfreenect/OpenKinect™コミュニティのメンバーとともに、Kinect™ 向けのオープンソース・ドライバーを提供する作業を進めてきましたが、これらの成果を、新たにプライムセンス社から提供される貢献物と迅速に統合する作業をすでに進めています。コンピュータービジョン向けによりよいデータを提供するため、工場出荷時の校正情報（キャリブレーション）や画像レジストレーションなど、センサーAPIが持つフルの情報を利用する予定です。また、NITE™の骨格や手のトラッキングのライブラリーをROS向けにラップしています。骨格トラッキングを利用することにより、映画「マイノリティ・レポート」ばりのユーザー・インターフェースの実現（注：下から２番めのMITによるビデオをご覧ください）が早まります。共通化されたOpenNI APIは、オープンソース・コミュニティ内のOpenNI上に開発したライブラリーやアプリケーションの共有と相互開発を促進します。すでに、libfreenect/OpenKinect™とRGB-Dセンサーを使った多くのすばらしいハックを見てきましたが、開発元提供のドライバーやライブラリーとセンサーのフルな能力とコミュニティのパワーによって、どのようなすばらしい技術やアプリケーションがさらに開発されていくか、大変に楽しみです。

このリリースは、オープンソース・コミュニティ参加者の多くの尽力の賜物によって、可能となりました。プライムセンス社の当初のプランでは、ドライバーのオープンソース化は、もっと後になる予定でしたが、オープンソースKinect™コミュニティの急速な発展と規模の大きさが、プライムセンス社によるオープンソース化の加速化を促し今回のリリースとなりました。今回のアルファ版より正式なリリースは、２０１１年の初期に予定されていますが、今回可能となったドライバーやライブラリーへアクセスは、開発者が冬の休暇シーズン中に新しい可能性を探るためにいろいろ遊ぶことを可能としました。アルファ版初期であるため、弊社では、フル機能をROSに統合する作業を行い、ドキュメントも準備しています。ROSに統合されたドライバーやNITEライブラリーの利用方法などに関しては、近々、このブログ上にて、進捗状況をご紹介いたします。

プライムセンス社のPSDK 5.0開発キットは、独自に入手が可能になりましたが、ロボット開発にいくつかの利点を提供しています。USBのみの電力供給、センサーは、Kinect™より小さく軽量。プライムセンス社は、この開発キットを限定数、販売しています。こちらにて、PSDK5.0開発キットの購入希望にサインアップできます

OpenNIが提供するバイナリーの入手やさらに詳しい情報は、OpenNI.orgをご覧ください。ソースコードを含んだ開発に興味がある方々は、ソースをGitHub上のリポジトリーで確認でき、メーリングリスト形式の開発者コミュニティgroups.google.com/group/openni-devにも参加できます。Kinect™に関わるROSコミュニティの成果や開発については、ros-Kinect™ MLに、ご参加ください。

原文

Blogでは紹介されていないOpenNIの利用例

リアルタイム（実時間）状況分析（シーン・アナライザー）


手のトラッキング

ROS-Kinectの利用例（すべて、PR2コミュニティメンバー）

カリフォルニア大学バークリー校 - Kinectを用いた障害物回避とクァッドローターの自律飛行


マサチューセッツ工科大学CSAIL研究所 - 映画マイノリティ・レポート風「手の認識」


インテル研究所＆ワシントン大学　チェス・ロボット

安価な三次元センサーKinect用オープンソースライブラリー

マイクロソフト社が、１１月４日（日本は同月２０日）より、
ゲーム機Xbox 360向けに、１００～１５０ドルで販売している
Kinectを利用するためのドライバーや
三次元データに基づいたアプリやライブラリーのが、
オープンソースで提供されはじめています。

OpenKinect (Hector Martin氏による最初のドライバlibfreenectが移行）
http://bit.ly/OpenKinect

弊社では、libfreenectをフォークし、
ニューヨーク市立大学の研究者とともに、
KinectをROS向けに統合し、このビデオで紹介されている
http://bit.ly/ROS-Kinect

　ー　複数のKinectセンサーの利用
　ー　校正（Calibration)
　ー　ジェスチャーによる遠隔操作
　ー　PR2ロボットへのKinectの装着
　　　http://bit.ly/KinectOnPR2
　ー　チルトモーターのコントロール

などの開発を行っており、新しいHRIやユーザーインターフェース、
動的障害物回避やマニピュレーションなどでの応用や開発が
期待されています。

これらの成果は、無料でオープンソースとして、どなたでも利用できます。
また、MLに参加することで、開発の過程や新しいアイデアに触れたり、
開発に参加することもできます。

ROS-Kinectの活発な過去ログ（１週間前に始まり、既に１８８通）
http://bit.ly/ROS-Kinect-MLArchive

Kinectの主な仕様
http://bit.ly/Wiki_Kinect
http://bit.ly/KinectHardware （部品などハードウェア関連）

　ー　@30Hz
　　　ー　8bit VGA - RGBカメラ
　　　ー　11bit VGA（モノクロ2048階調）テキスチャー照射付赤外線カメラ
　ー　認識距離　0.7m - 6m　1.2m - 3.5m (XBox 360ソフト用）
　ー　認識角度　57度（水平）43度（垂直）
　ー　付属モーターにより、上下に２７度ずつチルトが可能

Kinectに関する主なニュース

マイクロソフト社は、仕様としてUSBコネクションを開放。
Microsoft approves of Kinect open-source projects
http://bit.ly/MSApprovesOpenSourceKinect

１０日で１００万台の販売、年内５００万台に上方修正
http://engt.co/5mmKinect　（Press Releaseの部分）

※　Willow Garage社は、Kinectに関連する機関から、
一切の報酬などは受け取っておりません。
ロボットや認識、マニピュレーション、AIなどに関する
アルゴリズムやライブラリーを開発し、オープンソースかつ無料にて、
ROS, OpenCV, PCL（ポイントクラウド・ライブラリー）などを提供しております。