Huawei Facing Emotions:視覚障害のあるユーザーに会話相手の表情を音で伝えるアプリ

Huawei Facing Emotions:視覚障害のあるユーザーに会話相手の表情を音で伝えるアプリ – 記事

エレクトロニクスの大手企業Huaweiは、人工知能を使用して、視覚障害者が会話中の相手の感情を音声に変換して聞くことができるアプリ「Facing Emotions」を開発しました。Facing Emotionsは、7つの普遍的な感情 – 怒り、恐れ、嫌悪感、幸福、悲しみ、驚き、軽蔑 – を対応する音に「翻訳」できます。Huawei社のスマートフォン Mate 20 Proのリアカメラを使用して、会話相手の顔をスキャンし、人工知能(AI)が感情を分析します。スマートフォンに統合された機械学習アルゴリズムが、眉、目、鼻、口など、対話者の顔の特徴と位置関係を識別し、特定の感情を検出します。検出された感情は、アプリによって7つの異なる音(怒り、恐れ、嫌悪感、幸福、悲しみ、驚き、軽蔑)に変換され、受話器のスピーカーから再生されます。

それぞれの感情に対応する音は、盲目の作曲家Tomasz Bilecki氏によって作成されました。

「私が作りたい音はそれぞれの感情に固有のものでなければならず、会話からユーザーの気をそらさないようにする必要がありました。」

とBilecki氏は言います。

テストチームは、会話を邪魔せず、また認識可能で覚えやすいものにするために、それぞれの音を短く、簡潔かつ単純にすることを目指しました。アプリは盲目のユーザーによってテストされ、彼らの洞察はデザインに組み込まれました。

視覚障害者は、杖を持ったり他のナビゲーションツールを操作するために両手を使う必要があるので、アプリはハンズフリーで使えることが重要でした。

これに対応するために、ワルシャワを拠点とする製品デザイナーのJanek Kochanski氏は、3Dプリントの携帯電話ホルダーを開発しました。ホルダーは首の周りに装着し、視覚障害のあるユーザーがアプリをより直感的に理解できるように設計されています。

「設計者として、機能は最優先します。形態はしばしばその機能に由来するものになります。」とKochanski氏は言いました。「まず、使用上の要件を満たす必要があります。それからやっと美的価値と視覚的価値を満たすことができます。」

Huaweiは、アプリの開発を支援するためにポーランドの視覚障害者協会と提携し、視覚障害者の試験者のグループを募集し、視覚障害コミュニティの代表に彼らのニーズについてインタビューしたと語っています。Huaweiは、

「これらの洞察がアプリのユーザーエクスペリエンスを形成するのに役立った。」

と述べています。

また、Huaweiはプレスリリースで、

「Facing Emotionsは、AI技術の可能性を推進するために作成されました。視覚障害者が世界のより多くを体験する、または見る。ためにAIがどのように役立つのか問いかけることで、視覚障害者が他の人とコミュニケーションをとるときに、より豊かな経験と理解を得ることが可能になります。」

と語りました。

Huaweiのコンシューマービジネスグループのプレジデント、ワンタオ氏は、

「アクセシビリティは、「AI for good」という研究から生まれた急成長中の分野です。Facing Emotionsは、すべての人々、特に最も必要とする人々に新しいテクノロジーを提供するというHuaweiの使命を体現しています。」

と述べています。

スマートフォンの所有者はアプリをオンラインで購入することができ、中東欧や北欧諸国では視覚障害のある人々への慈善団体のパートナーシップを通じて多くの人が利用できるようになります。

AIによる障害者支援はますます活発になっています。マイクロソフトは5月に、「仕事、生活、人とのつながりで障害を持つ人々を支援する」ことを目的として、2500万ドルのAI for Accessibilityプログラムを実施し、Googleの子会社DeepMindはAIを使用して聴覚障害者向けの字幕を作成しています。チップメーカーのIntelは最近、AI for Social Goodイニシアチブを通じて、利用者の表情を読み取って移動する車椅子を手がける新興企業Wheelieをサポートしました。そして今月、モントリオールのスタートアップStradigi AIは、コンピュータビジョンを使って人々がアメリカ手話(ASL)を学ぶのを助けるゲームを実演しました。

参考リンク