Huawei StorySign:子供向けの本を手話に変換するスマートフォンアプリ

Huawei StorySign:子供向けの本を手話に変換するスマートフォンアプリ – 記事

中国のスマートフォン大手企業Huaweiは、画像認識や光学式文字認識(OCR)などのAIツールを利用して児童書を手話に翻訳する新しいAndroidアプリ「StorySign」を発表しました。

StorySignは、Huawei、European Union of the Deaf、聴覚障害者のための非営利団体Penguin、アニメーション制作会社Aardmanの協力で開発されました。

アプリはヨーロッパの10カ国でリリースされ、Google PlayストアとHuawei AppGalleryからダウンロードできます。Android 6.0以降を搭載したほとんどのスマートフォンで正常に動作しますが、Huawei Mate 20 Proなどの独自のAIを搭載したスマートフォンに最適化されています。

StorySignは、現時点ではイギリスフランスドイツイタリアスペインオランダポルトガルアイルランドベルギーのフランドル地方、スイスドイツの手話をサポートしています。スマートフォンを本のページの上にかざすと、単語がハイライト表示され、スターと呼ばれるキャラクターがリアルタイムで手話で伝えます。これは両親と子どもが自分のペースで一緒に読むことを学ぶのを助けます。画像認識技術により、スマートフォンが本に対していびつな角度に配置されてても、アプリは単語を検出することができ、OCRはより高い精度で文字の読み取りを可能にします。

「聴覚障害者の子どもを持つ家族が読書タイムを楽しめるようにStorySignを作成しました。私たちはAIの力を信じており、そのテクノロジーは世界にプラスの効果をもたらすと信じています。」

と、Huaweiの西ヨーロッパCMO、Andrew Garrihy氏は述べています。

「聴覚障害者の識字問題についての意識を高めることで、私たちがヨーロッパ中で協力しているチャリティパートナーへの寄付や支援が広まることを願っています。」

また、European Union of the Deafのエグゼクティブディレクター、Mark Wheatley氏は次のように述べています。「私たちは、StorySignが聴覚障害者のコミュニティに大きな影響を与え、より多くの聴覚障害を持つ子供たちが、耳の聞こえる子どもたちと同じように読むことを学ぶのを助けると期待しています。また、StorySignの発表により、生活のあらゆる面で聴覚障害者の平等を確保することについて、ヨーロッパ全土で幅広い会話がなされることを願っています。」

StorySignのアプリは非常に大きな可能性を秘めています。世界では約4億6000万人が聴覚障害を持っており、そのうちの3400万人は子どもです。StorySignのようなアプリは、文字を読めるようになる前の幼い学習者にも本を楽しむ機会を提供できる可能性があります。

残念ながら、リリース時点では「Where’s Spot」という絵本しかサポートされていません。しかし、どんな本でもリアルタイムで動作するようになれば、StorySignはもっと役に立つものになるでしょう。

参考リンク

IIoTで重要な役割を果たすことが期待されるロボットプラットフォーム。製造業におけるコボットの画期的なチャンスを分析 世界のIoTに関するレポート公開中