なぞるんプラスは,視覚障がいのある人が,写真を見たり,楽しんだりできることを目差しています.画像認識の技術の発展により,写真に写っているものは何か,スマホやタブレットでも,ある程度言い当てることができるようになりました.なぞるんプラスは,学習モデルの1000のカテゴリからもっとも近いものを選んで,その写真は何かを正解の確率とともに英語で答えることができます.また.写真から人物の顔を検出し,その人数を答えます.お使いのデバイスの内部ですべての処理が終わるため,写真などの情報を外部に転送することがなく,安心して使用できます.
画像を認識したら,アプリ「なぞるん」のカラー写真と同じ機能を使って,色を音で「見る」ことに挑戦します.写真の画面を指で触れることによって,写っているものの色と形を音声とサウンドで認識します.
* iOS11以降対応
2018.12.5 Masao MIYAKE
使用方法
1.写真決定
目の前の様子を知りたいときは,カメラボタンで写真を撮影します.または,アルバムボタンで写真を選ぶことができます.ボイスオーバ使用時は,写真をタップしたときに,写真の撮影年月日と時刻,縦長か横長かの区別を教えてくれます.なお,カメラボタンで撮影しても,写真は保存されませんので気軽に撮影できます.(アプリなぞるんでは,Ver1.3以降,写真が保存されるようになっています.こちらは再度調べたいときに配慮しています.)
2.写真は何か?
写真が決定されると,ポンと音がして処理が始まります.すぐに写真に写っているものを英語で答えます.複数の候補がある場合もあります.その候補が正解となる確率をあわせて答えます.人物の検出精度は,撮影された顔の写り方によります.
次に写真全体に含まれる色の名前とその割合を,全体を10として音声で答えます.色の名前は次の項目で説明しますが,画面を長押ししたときと同じ方法で色を分類します.このことを念頭において色を調べる段階に進みます.
3.カラー写真
次に色を調べます.色の種類は,
有彩色は,赤,黄赤,黄,黄緑,緑,青緑,青,紫,そして茶と,ベージュの10種類です.
無彩色は,白,グレー,黒の3種類です.
画面をタッチすると,色名を音声とサウンドで答えます.ゆっくりなぞるとサウンドのみになります.
色の種類とサウンドとの対応は次の通りです.
オルガンの音で,ドは赤,レは黄赤,ミは黄,ファは黄緑,ソは緑,ラは青緑,シは青,高いドは紫 とドレミファソラシドの,1 オクターブで表現します.
茶はピアノの低いド,ベージュはピアノの低いシで, 白は打楽器で,コン,グレーはパシッ,黒はドン,と音がします.
茶,ベージュ,白,グレー,黒以外は,色が明るいはトン,暗いはバシッ,の区別があります.
有彩色 | 音 |
明るい・暗い |
赤 | ド(オルガン) | あり |
黄赤 | レ(オルガン) | あり |
黄 | ミ(オルガン) | あり |
黄緑 | ファ(オルガン) | あり |
緑 | ソ(オルガン) | あり |
青緑 | ラ(オルガン) | あり |
青 | シ(オルガン) | あり |
紫 | ド(オルガン高い音) | あり |
茶 | ド(ピアノ低い音) | なし |
ベージュ | シ(ピアノ低い音) | なし |
無彩色 | 音 |
白 | コン(打楽器) |
グレー | パシッ(打楽器) |
黒 | ドン(打楽器) |
タッチのとき,長押しすると面の情報を答えます.指の周りの正方形領域(一辺が1.5センチ程度)に含まれる色の名前とその割合を答えます.明るい暗いの区別はありません.割合は全体を10としていますが,四捨五入などの処理のために合計は10とならないことがあります.
4.音で見るポイント
ポイント1.
タッチで音声とサウンドとの関係をつかみ,ゆっくりなぞることで,サウンドの変化により,色の変化を感じ取ります.同じサウンドが続けば,同じ色の領域となります.色がわからなくなれば,また,タッチして音声を聞きます.
ポイント2.
タッチした分だけ,音声とサウンドが出ますので,今見ている部分と対応しなくなることがあります.ゆっくり写真を調べてください,
ポイント3.
見える人に写真の説明をしてもらいながら試すと,なお,いっそう写真を楽しめます.