最新の研究成果
AIによる手話単語の新しい認識手法を提案
2024年12月19日
- 情報学研究科
- 研究推進機構
- プレスリリース
ポイント
◇AIを用いて、動画から手話単語を認識する研究が活発に行われており、さまざまな手法が開発されている。
◇手話における上半身の大まかな動きの情報に、手や顔の表情などの局所情報と人物の骨格情報を加えることで、手話単語の認識精度が従来手法と比較して10～15%向上。
概要
手話は、手や腕の動き、手指の形、顔の表情などの情報で単語を作り、その単語を組み合わせて会話をする視覚言語です。手話単語の多さが手話の習得を難しくしており、AIを用いて動画から手話単語を自動で認識する研究が活発に行われています。これまでの研究で使用されていた手法では、手話を大まかな動きの情報として捉えていました。しかし手話は、手指の形の細かな違いや、手と体の位置関係によっても意味が異なるため、従来の手法では手話単語を高精度に認識できないという問題がありました。
大阪公立大学大学院情報学研究科の井上 勝文准教授、岩村 雅一准教授、大阪公立大学 研究推進機構 協創研究センター 文書解析・知識科学研究所のPartha Pratim Roy客員研究員らの研究グループは、アメリカの手話単語のAIを用いた認識手法について研究を進めています。本研究では、従来の認識手法である上半身の大まかな動きの情報に、手や顔の表情などの局所情報と、手と体の位置関係を表す骨格情報を加えました。これにより、手話単語の認識精度が従来手法と比較して10～15%向上しました。
本研究成果は、2024年11月11日に国際学術誌「IEEE Access」に掲載されました。
健聴者の多くが手話を未習得なため、聴覚障害者の方々とのコミュニケーションにおいて、ある種の障壁が存在しています。本研究では、この障壁を取り除く第一歩として、手話単語の認識精度を向上させることに成功しました。この技術が聴覚障害者の方々とのコミュニケーション活性化に繋がる一助となることを期待します。
井上 勝文准教授
掲載誌情報
【発表雑誌】IEEE Access
【論 文 名】Word-Level Sign Language Recognition With Multi-Stream Neural Networks Focusing on Local Regions and Skeletal Information
【著 者】Mizuki Maruyama, Shrey Singh, Katsufumi Inoue, Partha Pratim Roy, Masakazu Iwamura, and Michifumi Yoshioka
【掲載URL】https://doi.org/10.1109/ACCESS.2024.3494878
資金情報
本研究は、JSPS 科研費19K12023の支援を受けて実施されました。
研究に関する問い合わせ先
大阪公立大学大学院情報学研究科
准教授 井上 勝文（いのうえ かつふみ）
TEL：072-254-7279
E-mail：inoue[at]omu.ac.jp
[at]を＠に変更してください
報道に関する問い合わせ先
大阪公立大学 広報課
担当：谷
TEL：06-6605-3411
E-mail：koho-list[at]ml.omu.ac.jp
[at]を＠に変更してください
該当するSDGs
