ビデオを使って組み立て作業の苦労を分析する

人が作業をしているときに困難に直面するタイミングを特定することが、彼らの行動を理解するのに役立つんだ。この理解は、ユーザーを助けるビジュアルサポートシステムの改善につながるかもしれない。この研究では、ビデオ分析を通じて困難を識別するための3つの組立活動をカバーしたデータセットを紹介するよ。活動には、配管パイプの組み立て、キャンプテントの設営、ハノイの塔パズルの解決が含まれている。それぞれの活動は、訓練されたアノテーターが感じた難しさに基づいて評価され、ビデオセグメントごとに苦労レベルを調べられる。

私たちのデータセットはユニークで、73人の参加者からの苦労の注釈が含まれていて、5.1時間のビデオ映像が収集されているんだ。私たちは、苦労を分類すること、苦労レベルを測定すること、苦労ラベルの分布について学ぶことの3つの特定のタスクに焦点を当てている。人気のある深層学習手法を使った初期結果も提示し、その評価からの洞察を共有するよ。

#苦労の特定タスク

#データセットの概要

私たちのデータセットには、3つの異なる組立タスクからのビデオサンプルが含まれている。それぞれのタスクは、幅広い苦労行動を示す可能性があるため選ばれた。タスクは以下の通り：

1. パイプ-苦労: 参加者は提供された図を使って配管パイプを組み立てる。
2. テント-苦労: 参加者は印刷された指示を使ってキャンプテントを設営する。
3. 塔-苦労: 参加者は、厳しいルールに従ってペグ間でディスクを移動するハノイの塔パズルを解決する。

各ビデオセグメントは、参加者がタスク中に困難に直面しているかどうかを判断するために評価される。スコアは、明確な非苦労から明確な苦労までの範囲だよ。

#方法論

私たちのデータセットを構築するために、参加者がタスクを行っている様子をビデオクリップで記録した。ビデオは、専門のアノテーターとクラウドソースされた参加者によって分析され、苦労の注釈が提供された。各ビデオセグメントは、アノテーターがさまざまな苦労のレベルを表現できる強制選択スケールを使用して評価された。

参加者は大学の学生からリクルートされた。彼らは、自分のビデオが録画されて共有されることに同意した。各シナリオの設定は、参加者が自分のスキルに見合った挑戦に直面するように慎重に管理されたが、過度に難しいタスクに圧倒されないようにされた。

#苦労の注釈

#データ収集プロセス

ビデオは、屋内と屋外の環境で記録された。参加者はボディカメラを着用して、第一人称視点をキャッチした。各録画は10秒のクリップに分割された。これらのクリップは、アノテーターにスコア付けのために表示された。

アノテーターは、手が震える、ためらい、アイテムの落下といった視覚的手がかりに基づいてクリップを評価した。苦労の異なる程度を捉えるために、4ポイントスケールが使用された。注釈は、専門のアノテーターと初心者参加者の2つのソースから収集され、苦労レベルの評価がより豊かになるようにされた。

#注釈レベル

各ビデオセグメントには、専門家の注釈と複数のクラウドソースの注釈が付けられた。専門家はタスクに関する幅広い経験と事前知識を持っていたが、クラウドソースの票はより広範な観察の表現を示している。投票者のラベルの頻度を使って、各ビデオセグメントのモードを決定した。

#タスクの評価

私たちは、苦労の特定に関連する3つの主要タスクを評価した：

#1. 苦労の分類

目標は、各ビデオセグメントをバイナリ分類（苦労している vs. 苦労していない）および苦労レベルに基づく4クラス分類に分類することだった。初期の発見は、特にテントの組み立てタスクで、分類に関連する課題がさまざまであったことを示している。

#2. 苦労レベルの回帰

このタスクは、専門的な注釈に基づいて連続的な苦労スコアを予測することを含んでいた。結果は、異なるモデルのパフォーマンスがさまざまに異なり、いくつかのモデルは他のモデルよりも苦労レベルの判定に大きな精度を示したことを示した。

#3. ラベルの分布学習

この場合、モデルはビデオセグメント全体の苦労ラベルの分布を予測するように訓練された。焦点は、クラウド注釈で示された苦労レベルの頻度に置かれた。このアプローチにより、すべてのビデオセグメントに対して正確なラベリングを必要とせずに、人々が苦労をどのように認識しているかを学ぶことができた。結果は、モデルが異なるタスク間で苦労の分布を予測するのにうまく機能できることを示した。

#関連研究

#行動認識

行動認識は、ビデオ映像内の異なる人間の行動を分類することを扱う。これを目的に、さまざまなアーキテクチャが開発されている、2Dと3Dの畳み込みネットワークを含む。これらのモデルは、視覚的手がかりに基づいて異なる行動を区別することを学ぶことができる。ただし、これらの行動中の苦労を特に扱うデータセットにはギャップがある。

#行動品質評価

別の関連研究分野は、スポーツや外科的タスクなどで実行された行動の品質を評価することに焦点を当てている。一部のデータセットは行動の品質を測定しているが、個人が直面する苦労や困難を直接評価するものではない。

#スキルの決定

スキルの決定は、タスクでのパフォーマンスに基づいて個人のスキルレベルをランク付けすることを含む。この研究領域は私たちのアプローチと類似しているが、通常は苦労の指標を提供しない。

#ビデオ異常検知

この分野は、ビデオ映像内の異常なイベントや行動を特定することを目的としている。苦労の検出は異常検出と属性を共有できるが、苦労は必ずしも異常に等しいわけではなく、私たちのアプローチは独自のものとなっている。

#データセット構築の方法論

#録画セッション

3つのタスクそれぞれについて、参加者がカメラを着用して活動に従事するビデオ録画セッションを整理した。目標は、苦労の本物の瞬間をキャッチすることだった。

参加者がタスクの指示を理解していることを保証するために特別な注意が払われた。配管タスクでは参加者が図に従い、テント設営タスクでは印刷された指示に頼り、ハノイの塔では口頭指示のみが与えられた。

#注釈プロセス

ビデオセグメントは10秒のクリップに分割され、アノテーターが評価しやすくなっている。それぞれのクリップは、観察可能な苦労の手がかりに基づいて注釈が付けられた。例えば：

• 手の震え
• ためらい
• タスクを完了するための繰り返しの試み

注釈は、専門的評価を通じて基準を提供し、クラウドソースされた評価を通じて苦労レベルに対する複数の視点を提供する2つのフェーズで収集された。

#結果の概要

#分類タスクの結果

私たちの分類タスクでは、バイナリおよび4方向の分類の精度を測定した。結果は、分類精度が異なるタスク間で大きく異なり、テント組み立てタスクがモデルにとって最も難しいことが示された。

#回帰タスクの結果

回帰タスクでは、セグメント間の苦労の程度を示す予測スコアを取得した。モデルは一般的に良好に機能したが、特定のタスクが予測の精度を下げることがあった。

#分布学習の結果

苦労ラベルの分布を予測する試みは良好な結果をもたらした。モデルは、クラウドソースされた注釈から期待される分布にうまく合致する能力を示し、このアプローチのさらなる発展の可能性を示している。

#討論

#得られた洞察

私たちの研究の全体的な所見は、パフォーマンス中の苦労を特定することが価値のある研究分野であることを示唆している。収集されたデータは、個人が組立タスクにどのように関与し、共通の困難に直面しているかについての洞察を提供する。

私たちは、このデータセットが苦労をリアルタイムで分析する支援システムの開発の基盤として機能できると信じている。最終的には、ユーザーがタスクに苦労しているときに助けることができる。

#制限と今後の作業

私たちの研究は意味のある結果を提供したが、いくつかの制限があることを認識しなければならない。たとえば、データセットは主に屋内および屋外のシーンで背景の変化が限られている。また、詳細な時間的ローカライズが不足していることが、モデルのパフォーマンスに影響を与える可能性がある。

アプローチを改善するために、今後の作業ではデータセットを拡大し、参加者の体験の全範囲を捉える苦労ラベルをより詳細に統合することが含まれる可能性がある。

#結論

要するに、私たちの研究は一般的な組立タスクにおける苦労を特定するためのデータセットを作成することに焦点を当てた。結果は、苦労を理解する上での改善の可能性を強調し、さまざまなモデリングタスクの効果を示している。この研究は、タスクの完了に苦労するユーザーを支援するシステムの基盤を築くことを目的としている。

私たちは、ビデオ分析における苦労の特定のさらなる探求を促進し、さまざまな活動に従事する個人にタイムリーな支援を提供できるシステムを訓練する新しい方法を刺激することを望んでいる。