Microsoft Seeing AI:カメラに映ったものを音声で伝えるスマートフォンアプリ

Microsoft Seeing AI:カメラに映ったものを音声で伝えるスマートフォンアプリ – 記事

MicrosoftのSeeing AIは、人、場所、文書、通貨などを認識し、目の不自由なユーザーに周囲の状況を音声で伝えるスマートフォンアプリです。Seeing AIは2017年に最初に発表され、多くのユーザーから支持を得ました。

アプリを起動し、スマートフォンのカメラを対象物に向けるとAIが対象物を認識し、ユーザーに伝えます。例えば、カメラを人物に向けると、アプリは誰を見ているのか、どんな表情なのかを認識します。食料品店のスープの缶に向けると、ラベルのブランド名を読み上げます。本の文章、レストランのメニュー、道路標識、手書きのメモを読むことができ、またバーコードを使って紙幣や商品を識別することができます。Seeing AIはまた、iOSのシェアメニューを介してアプリに画像をインポートし、その画像を説明することができます。画像内にテキストが含まれている場合は、テキストを読み上げます。ほとんどの場合、Seeing AIの利用にクラウドは必要ありません。アプリが実行できるすべてのことはデバイス上でローカルに処理ます。これは非常に大きな利点です。

詳細な機能セットは次のとおりです。

  1. リアルタイムテキスト読み上げ:テキストにカメラをかざすとすぐに読み上げます。
  2. ドキュメント:印刷されたページをキャプチャするための音声ガイダンスが流れ、テキストを元のフォーマットと共に認識します。ユーザーは単純な光学式文字認識装置以上にその構造を理解できます。
  3. 製品リーダー:バーコードを見つけやすくするためにビープ音を鳴らし、バーコードをスキャンして製品を識別します。
  4. 人物:顔認識、人物の立ち位置、推定年齢、性別、帽子、サングラス、ひげ、さらには感情までもを認識します。
  5. シーンの説明:自然な話し言葉で対象物と画像のシーン全体を説明します。
  6. 手書き文字:グリーティングカードやメモなどの手書き文字を読み上げます。
  7. 通貨:紙幣を識別します。
  8. 光検出:ユーザーが周囲の光にスマートフォンのカメラを向けるとアラート音が鳴ります。例えば、照明のスイッチが入っているかどうかを触れずに確かめることができます。
  9. 色:衣料品などのアイテムの色を識別します:

さらに、2019年の最新アップデートでマイクロソフトはタッチで写真を探索する機能を追加しました。ユーザーは写真を撮るかビューアーで画像を開き、画像のどこかをタップすると、Seeing AIはその部分の詳細な説明を読み上げます。画像全体を説明する機能はすでにありましたが、いろいろな対象物をタップすることでさらに詳細に知ることができるようになりました。たとえば手前に花がある、背景に映画のポスターがあるといった画像全体の説明で触れられていない箇所も調べることができます。この機能により、ユーザーはスマートフォンに保存されている写真やソーシャルメディアで共有されている写真などを閲覧することができます。

アプリには他にもiPadのネイティブサポートを提供するようになりました。これにより、ディスプレイが大きくなり、Seeing AIのユーザーエクスペリエンスがさらに向上します。また、各機能の順序をカスタマイズできるようになり、よく使う機能に素早くアクセスできるようになりました。

最新版のSeeing AIはAppleのApp Storeから無料でダウンロードできます。現段階ではiOSでのみ利用可能です。

参考リンク

Microsoft Seeing AI:カメラに映ったものを音声で伝えるスマートフォンアプリ 世界のIoTに関するレポート公開中