エコーヴェスト:聴覚障害に新たな希望
聴覚障害のある人のためのお手頃なウェアラブルテクノロジー。
― 1 分で読む
目次
聴覚障害は、世界中で15億人以上に影響を与えてるんだ。現在の難聴の人を助けるためのデバイスは、高額で入手が難しいことが多いんだよね。そこで、私たちはEchoVestっていう新しいデバイスを作ったんだ。このウェアラブルな技術は、視覚と聴覚に障害がある人が自分の周りをよりよく感じ取れるように設計されてるんだ。
EchoVestって何?
EchoVestは、ユーザーの体に振動を送ることで機能するんだ。これは、音がどこから来ているのかに基づいて小さな電気信号を送る、経皮的電気神経刺激(TENS)という方法を使ってるよ。デバイスは音の位置を特定し、分類し、背景音を減らし、深さの認識を測ることができるんだ。私たちの目標は、音の分類に一般的な手法であるCNNを使用している既存モデルよりも、EchoVestを良くて安く作ることだったんだ。
EchoVestの特徴
EchoVestにはいくつかの重要な特徴があるよ:
- 音の位置特定:これにより、ユーザーは音がどこから来ているかを判断できる。
- 音の分類:さまざまな種類の音を識別できる。
- ノイズ削減:EchoVestは背景音をフィルタリングして重要な音を際立たせることができる。
- 深さの認識:ユーザーが音の遠さを理解するのを助ける。
これを実現するために、精度を向上させつつコストを下げるための新しいオーディオ処理システムを作ったんだ。
手頃なソリューションの必要性
現在、聴覚障害のある人の約80%が低中所得国に住んでる。多くの人が必要な支援を受けられないのは、補聴器や人工内耳の高額なコストが原因なんだ。EchoVestは、必要な人にもっと手頃なソリューションを提供することを目指してるよ。
EchoVestの仕組み
EchoVestは、毎日着るために軽量のベストとして作られてるんだ。ベストには、ユーザーの肌に電気信号を送るためのさまざまな出力デバイスに接続するワイヤーがある。制御するのに使われるのはRaspberry Piという小さなコンピュータだよ。デザインはシンプルで、一日中快適に着られるようになってる。
音を拾うために、4方向から音声をキャッチできるReSpeakerマイクを使ったんだ。このセットアップで、EchoVestはユーザーの周りの音の位置や距離を特定できるんだ。TENSユニットは、音がどこで鳴っているかの感覚をユーザーに与えるよ。
機能的なデザインの作成
EchoVestのデザインは、実用性と使いやすさに重点を置いてるんだ。まず基本的なモデルから始めて、すべてがどう機能するかを見たんだ。最初のバージョンでは、電気刺激と音検出をテストすることができたよ。
その後、ポータブルにするためにプロトタイプを改善したんだ。バッテリーパックを追加して、マイクの調整で背景音を減らすようにしたよ。これらの変更で、EchoVestは使いやすくなって、ただ着用してオンにするだけで操作できるようになったんだ。
音の検出と処理
EchoVestは、音を特定して測定するための特別な方法を使ってるよ。システムは、先進的なアルゴリズムを使って音がどこから来ているのかを計算するんだ。異なるマイクに音が到達する時間を測定して、ソースを正確に特定するのを助けてるよ。
さらに、不要なノイズをフィルタリングする技術も使ったんだ。これには音の信号を分解して背景音を取り除き、音の分類を改善することが含まれてる。これらの手法を使うことで、EchoVestは音をよりよく識別できて、ユーザーが周りに注意を払えるようにするんだ。
ノイズフィルタリング技術
この技術の重要な部分はノイズ削減なんだ。私たちは、ファスト・フーリエ変換とオーツ法の二つの技術を組み合わせたんだ。このプロセスで、聞きたい音に焦点を当てながら他の音をフィルタリングできるんだ。その結果、EchoVestは騒々しい環境でも高い精度で音を分類できるようになったよ。
音分類モデル
私たちの音分類モデルは、多様な環境音を含む特定のデータセットを使って訓練されたんだ。このモデルはリアルタイムで動作するように設計されていて、音を対応するラベルとマッチさせられるよ。モデルのテストは、コントロールされた環境で音を再現することで行ったんだ。これによって、効果的に機能することを確認できたよ。
電気システムの設計
電気システムは、安全な電流レベルを提供するように設計されてるんだ。ベストの各出力パッドは、音の位置と距離に基づいて異なる感覚を感じられるように、穏やかな電流を流すよ。ユーザーの快適さのために、安全な電流を確保するシステムを導入したんだ。
開発の課題
デバイスをセットアップする際には、いくつかの課題を克服する必要があったんだ。使ったソフトウェアライブラリが古くて、Raspberry Piとの互換性を持たせるために調整しなきゃいけなかった。これらの課題をクリアして、私たちの技術がシームレスに機能するようにしたよ。
ユーザーテストとフィードバック
EchoVestの効果を確認するために、ボランティアとテストを行ったんだ。参加者たちは、TENS刺激の体験や音の識別のしやすさについて報告してくれた。フィードバックは、デバイスの反応性を改良したり、電気信号の調整に役立ったんだ。
将来の展望
現在、ユーザーがEchoVestの体験をカスタマイズできるモバイルアプリの開発に取り組んでるよ。このアプリでは、音の通知やデバイスの感度調整のオプションを提供する予定だよ。将来的には、企業と提携して、私たちの技術を使ってその音検出システムを向上させたいと考えてるんだ。
結論
EchoVestは、聴覚に障害のある人を助けるための新しいアプローチを示してるんだ。手頃な材料と最新の技術を使って、音の位置特定、分類、深さの認識を提供するデバイスを作ったんだ。私たちのテストでは、EchoVestで使用される処理方法が高い精度を保っていることが示されていて、多くの人にとって実用的なソリューションになってるよ。EchoVestの開発を続ける中で、より多くの人が高額な補聴器なしでこの技術の恩恵を受けられるようにしたいと思ってるんだ。
タイトル: EchoVest: Real-Time Sound Classification and Depth Perception Expressed through Transcutaneous Electrical Nerve Stimulation
概要: Over 1.5 billion people worldwide live with hearing impairment. Despite various technologies that have been created for individuals with such disabilities, most of these technologies are either extremely expensive or inaccessible for everyday use in low-medium income countries. In order to combat this issue, we have developed a new assistive device, EchoVest, for blind/deaf people to intuitively become more aware of their environment. EchoVest transmits vibrations to the user's body by utilizing transcutaneous electric nerve stimulation (TENS) based on the source of the sounds. EchoVest also provides various features, including sound localization, sound classification, noise reduction, and depth perception. We aimed to outperform CNN-based machine-learning models, the most commonly used machine learning model for classification tasks, in accuracy and computational costs. To do so, we developed and employed a novel audio pipeline that adapts the Audio Spectrogram Transformer (AST) model, an attention-based model, for our sound classification purposes, and Fast Fourier Transforms for noise reduction. The application of Otsu's Method helped us find the optimal thresholds for background noise sound filtering and gave us much greater accuracy. In order to calculate direction and depth accurately, we applied Complex Time Difference of Arrival algorithms and SOTA localization. Our last improvement was to use blind source separation to make our algorithms applicable to multiple microphone inputs. The final algorithm achieved state-of-the-art results on numerous checkpoints, including a 95.7\% accuracy on the ESC-50 dataset for environmental sound classification.
著者: Jesse Choe, Siddhant Sood, Ryan Park
最終更新: 2023-07-10 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2307.04604
ソースPDF: https://arxiv.org/pdf/2307.04604
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://doi.org/10.1080/14992027.2021.1962551
- https://doi.org/10.1007/978-3-642-26001-8_31
- https://arxiv.org/abs/2104.01778
- https://doi.org/10.1016/j.robot.2019.01.002
- https://www.fda.gov/medical-devices/consumer-products/hearing-aids
- https://www.cs.helsinki.fi/u/ahyvarin/papers/NN00new.pdf
- https://doi.org/10.1098/rsta.2015.0202
- https://doi.org/10.1109/ICCAS.2010.5670137
- https://doi.org/10.1093/geront/gny051
- https://www.nidcd.nih.gov/health/cochlear-implants
- https://www.healthline.com/health/cochlear-implant
- https://paperswithcode.com/sota/audio-classification-on-esc-50
- https://www.rev.com/blog/speech-to-text-technology/advantages-and-disadvantages-of-speech-recognition-software
- https://uihc.org/health-topics/transcutaneous-electrical-nerve-stimulator-tens
- https://doi.org/10.1109/tkde.2012.51
- https://www.goodrx.com/health-topic/ear/hearing-aid-cost
- https://www.who.int/health-topics/hearing-loss#tab=tab_1