OK! BAD
HMD と Kinect を用いた体感型 AR マニュアルの提案 日本大学大学院生産工学研究科 数理情報工学専攻 藤下 理美 古市昌一 創生デザイン学科 内田康之 君も今日からハンドベル奏者だ! A Proposal of "Intangible AR Manual" Using HMD and Kinect You can be a hand bell player today! ♦♫♦ ■ はじめに ■ ■ 提案システム ■ 対象者は、首振り姿勢を検出できる透過型 HMD（ヘッドマウントディスプレイ）を装着 し、ARによって構築された各種支援情報をHMD 上で確認しながら作業手順を習得する。対象者の 動作は、Kinectの深度センサによって実時間で計 測する。計測した動作から、対象者の「迷い」 「誤り」を検出し、逐次助言や修正指示をARによ って提示する。 PC 対象者の 動作情報 支援情報を提示 対象者の視点 マーカの 位置情報 HMD Kinect 対象者 マーカ ■ システムの流れ ■ 動作に合わせた位置にHotPointを設定し、そこに 手が入ったかどうかで動作の正誤判定を行う。 HMDのカメラで マーカを認識 情報提示 修正情報提示 動作判定 No Yes HMD：Vuzlx社 Wrap1200AR Kinect：Kinect for Windows ♦♫♦ *ﾟ¨ﾟﾟ･*:..｡ ♦♦♫♦ ･*:..｡ ♦♫♦ *ﾟ¨ﾟﾟ･*:..｡ ♦♦♫♦ ･*:..｡ ♦♫♦ *ﾟ¨ﾟﾟ･*:..｡ ♦♦♫♦ ･*:..｡ ♦♫♦ *ﾟ¨ﾟﾟ･*:..｡ ♦♦♫♦ ･*:..｡ ♦♫♦ *ﾟ¨ﾟﾟ･*:..｡ ♦♦♫♦ ･*:..｡ ♦♫♦ ･*:..｡ ARは、カメラを介して見た現実世界に情報など を付加・削除する技術であり、現実世界を一部改 変し拡張する技術である。本研究では、教育中も しくは作業中に、逐次、対象者に的確に指示する ことができ、教育効果や作業効率の向上を目的と したシステム「体感型ARマニュアル」を提案す る。ここでは、初心者によるハンドベル演奏技術 の習得について検討した内容を報告する。 ■ 楽器演奏への応用 ■ ここでは、より安価で誰でも気軽に演奏できるハンドベルとして、日本で ３０年前に造られた楽器であるミュージックベルの演奏技術の習得に、本シ ステムを適用した。ハンドベルと同様に１人が２∼４音を担当し、複数人で 演奏する。 ミュージックベルは音の長さを腕の動かし方で調節する。 単打音奏法（短い音） 余韻奏法（長い音） 釘を打つようにしてベルを鳴らす ベルを鳴らした後、腕をおおきく回して余韻を響 かせる 支援情報 ド 支援情報 レ ド レ ■ HotPoint の設定 ■ 動作が正しく行えたかどうかを判断するのに、手の可動域にHotPointを設定し、その中に手が入ったかどう かで動作の確認を行う。 ARマニュアルを開始する前に、キャリブレーションを行い、対象者の体格に合わせたHotPointを設定する。 Right shoulder Right hand Ra Right elbow Left shoulder La+100 Left hand La Left elbow La La La-100 ■ 動作判定 ■ 単打音奏法 C3 C2 C1 HotPoint３つ のうち C1にのみ手が 入ればOK！ 余韻奏法 OK! BAD ■ 実施結果 ■ 演奏曲の一例として、童謡「チューリップ」を対象 に体験型ARマニュアルのプロトタイプを製作した。 C3 OK! C2 C1 HotPoint３つ のうち C1→C2→C3 の順に手が入 ればOK! BAD ■ 今後の課題 ■ 教育効果や作業効率の向上を目的としたシステ ム「体験型ARマニュアル」を提案し、プロトタイ プを製作した。プロトタイプでは、システムの根 幹となるHMD上でのARによる支援情報の提示と Kinectを使った動作判定を実現した。動作判定の ためのHotPointをボーン情報を用いて設定した が、精度が低いという問題点があった。今後は、 ボーン情報と深度情報を併用することでより精度 の高いものを目指したい。また、本システムを工 場でのライン作業や、工業製品の修理や組立作業 などのマニュアルとして応用していきたい。
© Copyright 2024