効果的なサイト検索。 問題文-解決策を見つける。

これは、9月にWebサイトNomagic.ruで公開されたIvan Nikitinによる記事の再版です。 この記事には、問題の説明と可能な解決策の説明のみが含まれています。 ASPおよびPHPでのLiveSearch APIの問題の解決策を説明する記事へのリンクは、記事の最後にあります。

コンテンツを含む5〜10ページを超える最新のサイトには、検索エンジンが必要です。 とにかく、ナビゲーションバーやサイトの製品/セクションのカタログをどのように計画したとしても、最終的には、サイトの101番目のユーザーにとって直感的に体系化しようとする試みは理解できません 。

これがそうであることを確認したいですか？ ここにいくつかの簡単なタスクがあります。それらに数分を費やしてみてください（すべての例は、私が個人的に知って訪問したサイトのリストから偶然に撮影されたものです。

1. サイト（ http://www.specialist.ru/ ）で検索（検索を使用せずに！）Microsoft SharePoint 2007の2（2）コース。これに費やした時間を記録します。
2. サイトhttp://www.sipnet.ruで、VoIP D-Link DVG-2001SゲートウェイがSipnetサービスで動作することの確認と、その簡単な説明を見つけます。 あなたがそれに費やした時間を書き留めてください。
3. サイトwww.megafon.ruで 、2006年の作業結果に関する年次報告書をMicrosoft Word形式で（検索を使用せずに）検索します。 成功しましたか？

続行する必要がありますか？ あなたはすでに私に同意していると思います。 そして、サイトの開発者が理にかなっているように、検索エンジンを作成するという問題に直面したときです。 残念ながら、ほとんどの開発者はこのソリューションの複雑さを過小評価しており、検索をSQLクエリに減らす（単純化する）ことができると考えています。
SELECT * FROM products WHERE
title LIKE '%-%'
OR description LIKE '%-%'


そのため、そのような検索の値のみがゼロになります。 もちろん、複雑にしたり、単語とその組み合わせで検索を追加したりすることもできます（サイトでよく見かけるフレーズに心を打たれます：「 AND、OR、NOTを使用できます 。」ええ！ブール代数をユーザーに説明します）。 しかし、そのような検索の問題は、開発者がユーザーが製品名やニュースの見出しをサイトに表示されているとおりに入力する と信じており、ユーザーが現在必要なものを完全に任意の形式で入力することです。ユーザーである彼は、原則として、1つまたは2つの単語で構成される短いクエリを入力します。 つまり、ユーザーはSharePoint 2007のコースを探しているので、「Windows SharePoint Services v3」ではなく「SharePoint 2007」と記述します。 その結果、そのような検索は結果として数百のリンクをダンプし、検索の結果として何かを見つけることが不可能になるか、何も返さないため、完全に動作しない検索エンジンを取得します。 確認したいですか？ 大きな開発予算を持つ2つの強力なリソースを使用して、それらの検索をテストしてみてください。

1. サイトwww.mts.ruで、検索を使用して、通話料金を支払うためのクレジットフォームを見つけます。つまり、それをどのように手配し、通話料金を支払うか...どのようなリクエストを入力しますか？ 「 お支払い方法 」 結果は次のようになります。
   
   
2. ウェブサイトwww.alfabank.ruで抵当貸付に関する情報を見つけてください。 どのクエリを入力しますか？ 「 住宅ローン 。」 結果は次のとおりです。
   
   

どちらの場合も否定的な結果が得られたことは簡単に置き換えることができます。 最初のケースでは、何も受け取りませんでしたが、2番目のケースでは-まったく不要な情報（住宅ローンに関するバナーへのリンクがどうでしたか？） どちらの場合でも、 検索に失敗 すると、クライアントは永久に退去することがあります 。通話料金を支払うためのクレジットフォームがないため（実際にはあります！）、MCTに切り替えません。住宅ローンの条件を見つけます（これも単なる例です！個人的なものはありません！）。
この問題を解決するには？

効果的な検索の実装

第一に、優れた検索は些細な作業からほど遠いことを認識する必要があります。 さらに言えば、良い検索を実装する複雑さは、サイト全体の機能を実装する複雑さをはるかに超えています。 したがって、このようなタスクを設定する前に、100回考える必要があります。 形態学的分析システム、ドキュメントの関連性の評価、結果のランク付けのアルゴリズムの作成を開始する準備はできていますか？ そして最も重要なことは、これを何時間、何千行ものコードで実行する準備ができているということです。
しかし、それでもこの問題は解決できます！ 解決する方法は少なくとも3つあります。

1. 検索エンジンフォームの使用
2. 利用可能なWebサービスを使用する
3. サードパーティのソリューションを使用する

これらの方法はすべて、人件費、コスト、および得られる結果が異なりますが、3つの方法はすべて、上記の例よりも桁違いに高い品質の結果をもたらします。

検索エンジンフォームの使用

これは最も安価で実装が簡単です。 生の低品質の検索コードを記述する代わりに、サイトのページにフォームを埋め込んで、検索エンジンにリクエストを送信します。 このようなシステムとして、Googleの使用方法を示しますが、他の方法も使用できます。たとえば、Yandexの形式は次のとおりです： http : //company.yandex.ru/forms/ 。 私の意見では、その検索品質は他の検索エンジンよりもはるかに高いため、Googleのほうが好きです。
したがって、次のように描画します。
<form method="get" action="http://www.google.com/search">
<input type="hidden" name="ie"
value="windows-1251" />
<input type="hidden" name="domains"
value=" www.specialist.ru " />
<input type="hidden" name="sitesearch"
value=" www.specialist.ru " />
<input id="searchBarInput" type="text" name="q"
value="" />
<input id="searchBarSubmit" type="submit"
value="!" />
<div>
<a id="extendedSearchLink" href="http://google.com/">
<span>Powered by <span style="color:blue">G</span>
<span style="color:red">o</span>
<span style="color:olive">o</span>
<span style="color:blue">g</span>
<span style="color:green">l</span>
<span style="color:red">e</span></span></a>
</div>
</form>

Googleが検索を提供していることを示すことは必須です。 以上です！ 非表示フィールドのため、指定されたサイトでのみ検索するようGoogleに依頼します。 さらに、検索の品質は、上記の例よりも明らかに高くなります。 確認しましょう：

最初のリンクは、MTS Webサイトでのクレジット決済形式の設計を示しています。
アルファ銀行の例：

最初の結果は、アルファバンクの住宅ローンに関するすべての情報です。
もちろん、この方法のすべての単純さで、その欠点はすぐに目を引きます：ユーザーはあなたのサイトから検索エンジンに行きます。 実際、これ自体はそれほど怖いものではありません。検索エンジンからあなたとあなただけに戻るすべてのリンクがあるからです。ただし、ここにコンテキスト広告があります。 アルファ銀行は、同様のスキームを使用する同様の提案に同意するとは思わない。 :-)
それでも、この方法は、低予算または非営利のサイトに強くお勧めできます。これは、検索の品質がコンテキスト広告という形でのネガティブな側面をはるかに上回るためです。

利用可能なWebサービスの使用

この方法では、検索結果に他の人の広告を表示することを拒否しようとします。 多くの検索エンジンは、自動検索のサービスを提供します。 これはYandex.XML（ http://xml.yandex.ru/ ）、およびGoogleサービスなどです。 一般的な意味は、ユーザーのリクエストをサーバーに送信する検索フォームを提供することです。サーバーはユーザーのリクエストを検索エンジンに渡します。 結果を受け取った当社のサーバーは、当社のウェブサイト上で、あらゆるデザイン、形式でそれらを表示します。 ユーザーは、私たちのサイトのデザインで結果を見るため、検索が外部システムによって実行されたことにさえ気付きません。 確かに、Yandex.XMLには完全に理解できないライセンスシステム（Yandex.Direct広告を並行して表示するための要件）があり、Googleは約1年前に同様のサービスを静かに閉鎖しました。 。

しかし、ここで解決策を見つけることができます。 Microsoftには、Live.com検索（ http://dev.live.com/livesearch/ ）を操作するためのAPIがあり、これにより（APIは「it」です）同様のシステムを実装できます。 確かに、このAPIは1日あたりのリクエスト数を約1000〜3000リクエストに制限していますが、これは中規模サイトには十分です。

このような検索を実装することは、特にLive Search APIがXML WebサービスへのSOAP呼び出しを提供するため、これらの呼び出しを任意のプラットフォームおよびサイト開発ツール（PHP、ASP.Netなど）から実行できるため、完全に複雑ではありません。

少し前に、サイトSpecialit.ruの検索を作成する必要が生じたときに、このような検索の実装を行いました。 http://search.specialist.ruで動作を確認できます。

このトピックが興味深いと思われる場合は、出版物へのコメントにフィードバックや提案を残してください。次の記事では、Live Search APIに基づく検索エンジンの実装コードの詳細な例を示します。 私を信じて、すべてが一見思われるよりもずっと簡単です。 :-)

サードパーティのソリューションを使用する

ただし、Live Search APIなどの利用可能なWebサービスを使用する方法には、2つの大きな欠点があります。

1. リソースの再インデックス付けを迅速に管理できない
2. サイトの閉じたセクションでのインデックス作成の不可能性（および検索の結果）

最初の欠点は、検索エンジンロボットがサイト自体の更新スケジュールをインデックス自体に設定し、たとえば、サイトが正しいHTTP Last-Modified応答ヘッダー（インターネット上のサイトの90％の病気です！）を提供しない場合です。重要である。 つまり、サイトに新しい資料が表示されてから、検索結果に表示されるまでに数日、場合によっては数週間かかる場合があります。
2番目の欠陥は一般に致命的です。 検索エンジンロボットは、サイトのプライベートセクション（たとえば、承認が必要なプライベートフォーラム）にアクセスできないため、プライベートセクションの情報が検索結果に表示されることはありません。 もちろん、閉じたセクションの情報を覆い隠して匿名で公開することもできます（たとえば、ユーザーに関する情報なしでメッセージを閉じた形式で表示する）が、これは常に発生するとは限りません。 たとえば、会社のメールでの検索はどうですか？
ここでは、Yandex.Server（ http://company.yandex.ru/technology/products/yandex-server.xml ）や企業のMicrosoft Office SharePoint Server（ http://office.microsoft.comなど）のサードパーティの検索エンジンが役立ちます。 /ru-ru/sharepointserver/FX100492001049.aspx ）。 2番目の方法はYandexのサーバーよりもはるかに優れており、サイトの検索などに使用できる非常に強力な検索エンジンを備えています。
おそらく次のいずれかの記事で、効果的な検索エンジンを構築するためにMicrosoft Office SharePoint Server 2007とWebサイトを統合することも検討します。

関連リンク

-ASP.NETでLiveSearch APIを使用したサイト検索の実装に関する記事
-PHP5のLiveSearch APIを使用したサイト検索の実装に関する記事