サイト内検索(GSCP)にて指定のページの内容を検索対象外にしたいのですが、どうすればいいですか?

変更日 水, 17 9月 で 3:01 午後

除外(検索対象外)する方法としては3つございます。


①HTMLソースの meta robotsタグや、ドメイン直下の robots.txtファイル

HTMLソースの meta robotsタグや、ドメイン直下の robots.txtファイルを適切に記述

することで弊社サービスのクロール(巡回)対象から除外され、検索結果に表示される

ことがなくなります。(翌クロール処理後から反映されます)


googleでは次のURLのように解説されています。

https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja


この方法では Googleなどにも影響があるため、慎重なご判断をお願いいたします。

尚、meta robotsタグなどを弊社クローラで無視する設定の場合は、この方法を利用

することはできません。


弊社クローラのみを対象にする場合は、弊社クローラ標準の User-Agent名を robots.txtに

記載してください。弊社クローラ標準は「WiSEWebCrawler」です。 



②管理画面で除外対象のURLを登録

管理画面の次の操作で除外対象となる個別URLを登録することで除外が可能です。


ログイン> ホーム> [本番環境] サイトサーチ> 左メニュー [検索結果除外設定]

 スクロールして『[+]行を追加』をクリック> 追加された行をダブルクリック> 

 URLと備考を追加> [保存]


翌クロール処理後から反映されます。


■ドキュメントURL

https://docs.geniee-search.net/popadmin/featuredescription/sitesearch/exclusion/

※画面での直接入力の他に CSVでの一括登録(一括入替)が可能です。



③クロール設定の除外設定を追加

除外対象のディレクトリパスや、URLのパターンが明確になっていましたら、それらを

除外対象としてクロール設定に追加することが可能です。


設定変更は弊社側のタスクですので、ディレクトリ名(例: /company )や URLパターン

(例: ?page= )をご教示いただければ、弊社側で追加いたします。

翌クロール処理後から反映されます。


この記事は役に立ちましたか?

それは素晴らしい!

フィードバックありがとうございます

お役に立てず申し訳ございません!

フィードバックありがとうございます

この記事に改善できることがあれば教えてください。

少なくとも一つの理由を選択してください
CAPTCHA認証が必要です。

フィードバックを送信しました

記事の改善におけるご協力ありがとうございます。