TargetMotionViewer

動画内の人物の姿勢情報を利用して、スポーツの反復練習のような特定の動きを抽出するツールです．

詳細は下記の研究報告の通りです。
増田 毅, 永見 智行, 井尻 敬, 姿勢追跡技術を活用したスポーツ反復練習動画の視聴システム, 情報処理学会 第 186回 ヒューマンコンピュータインタラクション研究会, 沖縄県石垣島大濱信泉記念館, 2020/01/15-16.
https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=202590&item_no=1 paper(pdf)

この文献では、PoseNetやOpenPoseを想定していましたが、現在の実装ではMedia Pipeにより抽出したランドマークを利用しています。

開発者 : 増田 毅, 井尻 敬

姿勢情報の抽出

まず、MediaPipeを利用して対象の動画から人物のランドマーク情報を抽出します。
この工程には、pythonのインストールが必要です。

1. 必要なモジュールをインストールする（最初の一回だけです。インストール済みであれば飛ばしてください。） コマンドプロンプトより下記のコマンドを実行してください。

python -m pip install pyqt6
python -m pip install opencv-python
python -m pip install mediapipe

2. 起動する コマンドプロンプトを開き、PoseInfoExtractionフォルダへ移動してから、下記のコマンドを実行すると、してください。

python video2pose_viewer_ui.py

3. 動画ファイルの読み込みとランドマーク情報のエクスポート
   起動すると、ファイル洗濯用のダイアログが表示されるので、対象動画を選択してください。 すると、対象動画が再生されます。

『Export Poseボタンを押すと』動画内の人物の姿勢データが、textファイルとして出力されます。 動画が長い場合数分の時間がかかります。

(必要に応じて)
動画内でマウスの左ドラッグをすることで注目領域 （ROI）を指定できます。 ROIが指定されるとこの領域内のみで姿勢情報が抽出されます。
画面が動画よりも小さい場合、画面サイズを大きくしてください。

姿勢情報を利用した動画の可視化

1. 起動
   binフォルダ内の「TargetMotionViewer.exe」をダブルクリックすると動画可視化ツール(TargetMotionViewer)を起動できます。

2. 動画と姿勢データの読み込み メニュー > File > Load Video をクリックし、『対象動画』と『先ほど作成した姿勢データ（text）』を指定してください。

3. 対象クリップの検索

• 検索したい反復動作の開始・終了フレームを右のダイアログより指定してください。
  ++ 開始フレームは Start idxへ
  ++ 終了フレームは end idxへ
  数値は、直接text boxへ書き込めます。
  右のSet Idxボタンを押すと現在表示中のフレームが登録されます。

• 『Search All Clip』ボタンを押すと指定した反復動作と似た姿勢を持つクリップが自動で検索され、サムネイルが表示されます。
  サムネイルをクリックするとその部分が再生されます。

3. 対象クリップのエクスポート 発見したクリップを『Ctrl + 左クリック』や『左ドラッグ』により選択した状態で、、、
   +『Export Clips』ボタンを押すと、すべてのクリップが別々の動画としてセーブされます。
   +『export overlayed clips』を押すと、すべてのクリップが重ねられた動画がセーブされます。

(Optional) alingment idxを指定すると、その姿勢が表れたフレームをそろえるようにすべてのクリップを重ねた動画が作成されます。
例えば、投球時の脚の着地時間を合わせた合成動画の作成などに利用できます。

(Optional) 左下のダイアログに、クリップ検出時の相違度グラフと閾値グラフ（黄色い直線）が表示されます。こちらを確認し、必要に応じて閾値を修正してください。