サイト内検索（GSCP）で検索結果に表示されないURLがある

検索結果画面で additionalAttributesなどによりフィルタリングされていない場合、検索結果に表示されない原因はクロールされていないことが多いです。クロールされない三大原因は次のようになります。

1. リダイレクト処理と link canonical設定がループしている
2. クロールの経路上でJavaScriptによるハイパーリンクが作成されている（「もっと見る」やタブ形式表示も含む）
3. プルダウンによる切替操作が必要な場合がある

「1」の典型例としては次の動作となり、クロールされません。

・ https://www.example.com/news/ をクロール

・ https://www.example.com/news/  HTMLソースの link canonical タグに「 http://www.example.com/news/ 」と記載（httpが設定）

・ http://www.example.com/news/ をクロール

・ Webサーバ設定により https://www.example.com/news/ にリダイレクト（httpsにアクセスすると link canonical指定先をクロール)

稀に link canonicalに設定された URLが存在しない場合があり、この場合もクロールされません。

link canonicalに設定される URLを適切にしていただくことで解消されます。

「2」の典型例としては次の動作となり、クロールされません。

・ https://www.example.com/news/ をクロール

・ Webサイト内や外部ドメインにある JSONファイルを読み込み、ブラウザではニュース一覧を表示

・ クローラは JSONファイルの読み込みそのものや JSONファイルを読み込むJavaScriptを実行できないため、ニュースのURLを判断できずクロールされない

・ ページネーションについても同様でクロールできない

sitemap.xmlファイルにクロール対象となるニュースのURLを全て記載し、作成・更新していただくことで解消されます。

※クローラに sitemap.xmlファイルを読み込む追加設定が必要です。

「3」の典型例としては次の動作となり、クロールされません。

・ https://www.example.com/news/ をクロール

・ 今年度のニュース一覧が表示

・ HTMLソースに各ニュースへのハイパーリンク(Aタグ)があるので、それらをクロール

・ 昨年度以前の年度のニュース一覧はプルダウンで切替

・ 切替後、https://www.example.com/news/2024/ のような URLで2024年度ニュース一覧が表示

・ クローラはプルダウン操作ができないため、昨年度以前のニュースをクロールできない

クロールを開始するURLとして https://www.example.com/news/2024/ などを追加することで解消されます。

※クローラに開始URLを追加する必要があります。