除外(検索対象外)する方法としては3つございます。
①HTMLソースの meta robotsタグや、ドメイン直下の robots.txtファイル
HTMLソースの meta robotsタグや、ドメイン直下の robots.txtファイルを適切に記述
することで弊社サービスのクロール(巡回)対象から除外され、検索結果に表示される
ことがなくなります。(翌クロール処理後から反映されます)
googleでは次のURLのように解説されています。
https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja
この方法では Googleなどにも影響があるため、慎重なご判断をお願いいたします。
尚、meta robotsタグなどを弊社クローラで無視する設定の場合は、この方法を利用
することはできません。
弊社クローラのみを対象にする場合は、弊社クローラ標準の User-Agent名を robots.txtに
記載してください。弊社クローラ標準は「WiSEWebCrawler」です。
②管理画面で除外対象のURLを登録
管理画面の次の操作で除外対象となる個別URLを登録することで除外が可能です。
ログイン> ホーム> [本番環境] サイトサーチ> 左メニュー [検索結果除外設定]
スクロールして『[+]行を追加』をクリック> 追加された行をダブルクリック>
URLと備考を追加> [保存]
翌クロール処理後から反映されます。
■ドキュメントURL
https://docs.geniee-search.net/popadmin/featuredescription/sitesearch/exclusion/
※画面での直接入力の他に CSVでの一括登録(一括入替)が可能です。
③クロール設定の除外設定を追加
除外対象のディレクトリパスや、URLのパターンが明確になっていましたら、それらを
除外対象としてクロール設定に追加することが可能です。
設定変更は弊社側のタスクですので、ディレクトリ名(例: /company )や URLパターン
(例: ?page= )をご教示いただければ、弊社側で追加いたします。
翌クロール処理後から反映されます。
この記事は役に立ちましたか?
それは素晴らしい!
フィードバックありがとうございます
お役に立てず申し訳ございません!
フィードバックありがとうございます
フィードバックを送信しました
記事の改善におけるご協力ありがとうございます。