同じようなコンテンツが重複して検索結果に表示されている場合の対処法

弊社クローラーでは、(パッシブ)パラメータやが違ったり、末尾のスラッシュの有無が異なるコンテンツに関しては、

基本的に別コンテンツとしてクロールいたします。

たとえば、下記の3ページは別コンテンツになります。

https://aaaaaa.com/jp

https://aaaaaa.com/jp/

https://aaaaaa.com/jp?a=1

これを回避する方法としては、いくつか方法がございます。

1. canonicalタグを用いて、お客様の方でURLの正規化を行なっていただく
   基本的にこちらの方法を推奨しております。
   検索エンジンから評価されるWebページを1つにできるため、SEOの観点的にもメリットがございます。
   
   
2. サイト側で、302リダイレクトを設定していただく
   たとえば、/なしのページにアクセスされた場合は/があるページにリダイレクトさせるような仕様にしていただけると、クロールの際にもコンテンツが重複することを防げます。
   
   
3. 正しくメンテナンスされているsitemap.xmlを弊社に共有いただく。
   弊社では、sitemap.xmlに記載されているコンテンツだけをクロールすることが可能です。
   重複するコンテンツを除いてある必要がございます。