クロールがサイトに負荷を与えるか知りたい

変更日 水, 22 7月 で 10:46 午前

クロール時の負荷やクロール完了までに要する時間はお客様サーバのレスポンス時間にも依存しますので、

誠に申し訳ございませんが、一概には申し上げられません。

ただ、日次クロールはご希望を伺い、深夜帯や朝方のアクセスが少ないタイミングで設定しますため、

問題となるような負荷や影響はないかと存じます。


クロール時のアクセス頻度につきましては初期クロール設定ではインターバルを挟む設定はされておらず、

あるURLを取得後、間髪をいれず次のURLを取得する動きとなります。

並列数は4並列です。


もし高負荷が確認される場合にはインターバルの秒数を設ける、並列数を下げることも可能ですので、

必要に応じてサポートに変更の依頼を行ってください。

なお、インターバルや並列数の変更を設定すると、お客様サーバの負荷は抑えられますが、

クロール完了までの処理時間が長くなります。

この記事は役に立ちましたか?

それは素晴らしい!

フィードバックありがとうございます

お役に立てず申し訳ございません!

フィードバックありがとうございます

この記事に改善できることがあれば教えてください。

少なくとも一つの理由を選択してください
CAPTCHA認証が必要です。

フィードバックを送信しました

記事の改善におけるご協力ありがとうございます。