あなたの目でコンピューターを制御する-実用的な実装



1.必要性と問題の記述


この記事は主に、キーボードでボタンを押してマウスを動かすことで、一般的に受け入れられている方法でコンピューターで作業することが困難または不可能であると感じる人々のために書かれています。 一目でコンピューターを制御できるシステムがどのように作られたかをお伝えします。 私は、人が異なる視度のレンズで乱視眼鏡/眼鏡をかけている場合、与えられた解決策がうまく機能しないかもしれないとすぐに言わなければなりません
ですから、目とコンピューターしかありません。 ペダルも、頭を回しても、音声をテキストに変換することもできません。

2.既存のソリューションの選択


キーワード「Eye Gaze Tracking」と「Assisitive Technology」をインターネット上で検索すると、掘り下げて結論に至る多くのリンクが得られます。


参考のため、セクション「5。 試したことのない他の方法」では 、情報を入力したさまざまなデバイスの説明を提供しています。

突然、12月中旬に、Tobiiはコンセプトを変更し、新しいEyeXデバイスの開発に切り替え、元のREXデバイスの3倍の価格で今すぐ古いREXデバイスを開発者に送り、REX用に記述されたコードがEyeXで動作することを保証しました。
彼は長い間、REXを注文しなかったと考えていましたが、それに基づいてシステムが作られました。

[2017年8月22日の修正]現在、使用できる最新のITトラッカーがあります(以下を参照)。

3.実装の詳細


3.1。 ハードウェア


3.1.1。 オプション1:Tobii Eye Tracker 4C


2017年夏の安価なITトラッカーの最も関連性の高いモデル。

この特定のデバイスをお勧めします。 EyeXと比較して:



3.1.2。 オプション2:Tobii EyeX



Tobiiの以前のモデル。 お金が非常に限られている場合のみ、今でも購入できます。 赤い電球を見つめる準備をしなさい。 それでも、当時としては非常に価値のあるデバイスです。

注意! EyeXが機能するにはUSB3が必要です! コンピューターにUSB3ポートがない場合、デバイスは機能しません!

デバイスはTobii Webサイトで注文できます
スウェーデンからUPSによって配信されます。

3.1.3。 その他のサポートされているデバイス



Tobii REX-もう販売されていませんが、2台のカメラを備えた非常に優れたマシンがありました。

TheEyeTribe-もう販売されていません。 まあまあの鉄片。 低予算のITトラッカーの分野で突破口を開いたものの、Tobiiは価格を大幅に引き下げました。

GazePoint GP3は非常に高価なデバイスであると同時に、安価なTobiiデバイスよりも劣っています。

3.2ソフトウェア


完全なデバイスは、デバイスの能力を示すために設計されたデモプログラムと、独自のプログラム(SDK)を作成するためのツールのみです。 SDKに付属しているドキュメントはありません。 しかし、C ++とC#には例があり、どの例をどのようにして何をすべきかを理解できます。

Tobii Gaze Interactionと呼ばれる他のより高価なTobiiモデルのソフトウェアを使用しようとしても、何も起こりませんでした。 しかし、私はそこに実装されたアイデアが好きだった。
だから、私は自分でソフトウェアを書かなければなりませんでした。

マウスの動作を目でシミュレートできるプログラムが作成されました。左、右、ダブルクリック、ドラッグアンドドロップ、スクロールホイール、仮想キーボードの目でテキストを入力することもできます。
ただし、一度見たほうがいいです。 ここでプログラムのデモンストレーションをご覧ください。


このプログラムは、github: hereからダウンロードできます(ソースコードを含む)。
ダウンロードするには、githubで通常行われている「RAW」ボタンをクリックする必要があります。

プログラムをインストールするための詳細な手順は、 ここに記載されています 。 ここでは、テーブルモードでの作業のみを説明しています。

このプログラムは、筋萎縮性側索硬化症(ALS)のあるさまざまな国の数名の人々に役立ちました。 ここチャリティ財団のこのクリップでは、これらの物語の一つが語られています。



4.メガネの取り扱いの問題


使用されるデバイスは、他のほとんどの類似デバイスと同様に、赤外線照明から得られる瞳孔のまぶしさを使用して、ビューの方向を決定します。 残念ながら、眼鏡は偽のまぶしさを追加します。

特定のユーザー向けにデバイスを設定する場合、眼鏡をかけていることを示すことができますが、これはあまり役に立ちませんが、デバイスは常に瞳孔の位置を失います。
赤外線の範囲でメガネのレンズのまぶしさをなくすための実証済みの推奨事項に感謝します。

5.試したことがない他の方法


[古い情報、これは2013-2014年に関連していた]

デバイスは、障害のある人のコンピューターでの作業を容易にするためだけでなく、たとえば、ユーザーが最も注意を払うWebページの部分を調べるためにも使用されることをすぐに言わなければなりません。 したがって、そのようなシステムでは、巨額のお金が壊れることがあります。 しかし、驚くべきデバイスは、多くの場合、障害者用のデバイスにお金をもらっています。

5.1。 営利企業の製品



SMI-感覚運動器


彼らのデバイスはここで見ることができます
デバイスはロシアで購入できます(リンクは提供しません)が、最も安い価格について尋ねると、100万20万ルーブルの価格が発表されました。 さようなら、SMI。

トビー


同社は長い間、障害のある人向けの製品をリリースしてきました。 インテルでさえ数百万ドルを投資しました。 タブレットにアイトラッキング用の鉄が付属していたとき、彼らはデルと提携し、デルはテクニカルサポートを提供しました。
ここでロシア語読むことができます
英語で- 彼らのウェブサイトで
これらのデバイスに関する多くのことをYouTubeで見ることができます。
最近では、価格は4,000ドルから始まりました。 現在(2014年1月)、PCEyeの価格は2,000ドルに低下していますが、ソフトウェアはRussifiedされていません(Tobii Gaze Interaction)。

アイテック


彼らはまた、この分野で長い間働いてきました、それは90年代の終わりからのようです。 彼らのデバイスはもっと不器用ですが、私はソフトウェアが本当に好きでした。そのデモはここで見ることができます

同時に、人が目を点滅させてマウスボタンをクリックするクリップがあります-これはあなたが点滅するようなものではありません。 Tobiiでは、これを見たことはありません。
ラップトップから30インチまで、モニターごとにサイズが異なる3つのデバイスがあります。 私が見つけた価格は8700ドルです。 紳士は恥ずかしがり屋ではありません。
しかし、彼らのソフトウェアがどのように機能するかに気付くでしょう。

ダイナボックス


専用デバイス 、標準のコンピュータープログラムは使用できません。

EyeGaze Edge(LC Technologiesから)


カメラとそのデータを処理するコンピューターを含む巨大なデバイス 。 このユニット全体をコンピューターに(ワイヤレスを含む)接続すると、マウスとキーボードが置き換えられ、通常のプログラムで作業できるようになります。 再び8〜1万ドル。
「EyeGaze Edge Pack」のセットがあるようです。コンピュータを使用し、カメラとソフトウェアをそこに押し込むだけですが、価格はどこにもありません。

これらは、市場の主要なプレーヤーです。 それ自体は製品を思い浮かべることができなかった小さな新しい野心的なオフィスの1つは、それでもリーダーを批判するほど怠zyではなく、彼ら自身が最もクールであることを明確にしたサインを持ち出しまし (まだ製品はありませんが、デモは示しています瞳孔の位置が常にジャンプすること)。 しかし、残りの比較は非常に明らかです。 そこにある機器はすでに古くなっていることが多いのですが、価格の順序と誰が先に進んだかを評価することは可能です。

5.2。 オープンソースプロジェクト


残念ながら、下記のプログラムはいずれも、既存の機器(ナイトモードと個別の赤外線LEDバックライトを備えたPC104Eビデオカメラ)の視野方向を十分に正確に決定するものではありませんでした。 それにもかかわらず、おそらく誰かがうまくいくでしょう。

GazeTracker


このページのクリップを見ることから始めることをお勧めします
このプロジェクトは、コペンハーゲンのIT大学で開発されました。 それは2010年の終わりまでどこかで発展し、その後無関心に陥りました。 それにもかかわらず、彼らのオープン性、非商業化、および特定の成果に対する多くの敬意。 当初は、「自分でやる」(DIY-自分でやる)などの機器を操作する能力を目指していました。 多くの住宅所有者は、このソフトウェアを鉄片で使用し、多くの場合20〜30ドルかかりました。 たとえば、 これを参照してください。
現在のバージョンは2.0ベータ版であり、それ以前には、1.6、1.8など、多数の安定バージョンがありました。
使用説明書には、開発者自身が同じHDRモデルHVL-IRMの1つまたは2つのバックライトを備えたSony HDR-HC5カメラを使用したことが記載されています。
このサイトには[比較的]ライブフォーラムがあり、開発者ではなく、謝罪者と話すことができます。


ヘイサム


コペンハーゲンのIT大学は、GazeTrackerチームが崩壊した後も仕事を放棄しませんでした。 今、彼らははるかに美しいシステムを持っています

これは1つのプログラムではなく、生徒の位置をネットワーク経由でクライアントに配布するサーバーです。 1つのクライアントは、マウスカーソルを制御するHaytham_Monitorプログラムです。 彼女が私のハードウェアでうまく働いていれば、何もする必要はありません。 皆さん、頑張ってください。

Source: https://habr.com/ru/post/J208108/


All Articles