9つのホームページはクローラーに応答しなかった

調査対象の30のホームページのうち9つは、ページを一度も生成しませんでした。スキャナーがリクエストを送ると、401、403、429、202、または 520 が返ってきました。これらの行は公開データに残っており、スコアも付いていますが、そのスコアはサイトではなくエラー応答を測ったものです。

この除外は、調査のヘッドラインとなる数字の背後にある方法上の判断です。9つを0として数えると平均は 44、未測定として数えると 62 になります。このサイトが公開しているのは2つ目の数字で、この記事はそれを論じるものです。結果をより地味に見せる部分も含めて。これは大きな補正でもあります。サンプルの 30% がページを一度も生成しておらず、それらを除外すると平均は 18 ポイント、つまり公開値の 29% 動きます。

9つとはどこで、何を返しましたか？

4つのステータスコードと1つの非標準コードが9つすべてを説明します。9つのうち、ブラウザには配信しながらクローラーを拒否したのは2つだけ（22%）です。

それぞれのステータスコードは、ここでは何を意味しますか？

5つのコードのうち4つは壁を表し、1つはスキャナーに対する制限を表します。互換性はなく、修正方法もそれぞれ異なります。403 が最も多い答えです。9行のうち5行（56%）が forbidden（禁止）で返ってきました。

• 401 — 認証が必要。 サーバーは応答する前に資格情報を求めます。ペイウォールや非公開のオリジンがこのコードを返します。
• 403 — 禁止。 サーバーはリクエストを理解し、拒否しました。これはbot対策の一般的な形であり、修正可能な設定を最もよく覆い隠すコードです。
• 429 — リクエストが多すぎる。 これはサイトではなくスキャナーについてのコードです。リクエストレートが制限されたので、答えはページの評価ではなく制限です。捨てるのではなく、そのまま公開します。
• 202 — 受理、ただしページなし。 202 は確認であり、文書ではありません。採点するものが何もないため、薄いコンテンツとして採点するのではなく中止として記録されます。
• 520 — 非標準のエッジエラー。 オリジンがエッジで扱えないものを返したときに Cloudflare が発行します。答えではなく、答えられなかったことです。

なぜ 403 にもスコアが付くのですか？

レポートは何が起きたかを示さなければならず、数字を欠けさせるとそれが隠れるからです。スコアは実際に返ってきたものから計算され、中止として記録され、平均から除外されます。

これは調査の「すべてを公開する」という原則と同じです。この9行はサンプルで最も興味深い部分です。よく知られたサイトのリストでも 30% が最初のリクエストではクローラーに読まれないこと、そしてこれらの行を黙って捨てるツールは、より小さな世界について整った数字を報告することになることを示しています。

拒否とブロックは何が違うのですか？

拒否とは、同じURLがブラウザ形式のリクエストには配信し、クローラー形式のリクエストは拒んだということです。ブロックとは、クローラーが受け入れられなかったということで、robots.txt のルールによる場合も、その拒否による場合もあります。

この区別を残す価値があるのは、証明できるからです。Zeit と OpenAI は、スキャンがそれを示せる2行です。まったく同じURLが、ある user-agent には 200、別の user-agent には 403 を返しました。表の他のすべての拒否は全員に適用される壁であり、それをクローラーブロックと呼ぶのは観察ではなく仮定になります。

この除外は調査の平均をどう変えますか？

平均を 44 から 62 に動かします。9つを0として扱うと、分母には加わるのに、彼らが得た 142 ポイントは加わらないため、平均は 18 下がります。

どちらの数字も同じ表に対する算術です。しかし、ウェブサイトについて述べているのは片方だけです。403 のページには語数も見出しもエンティティマークアップもなく、それを0点にすることは、文書が存在しないことを「ひどく作られた文書」だと言うことになります。

自分のスキャンがエラーを返したらどうすればよいですか？

スコアより先にステータスを読んでください。200 以外は設定の問題であり、コンテンツの作業をいくら積んでも動きません。

1. bot対策ルールが、スキャナーが送る user-agent に 403 を返していないか確認します。クローラーガイドに名前が載っています。
2. サイトがログインやペイウォールの後ろにある場合、スキャンには見えず、その数字はあなたのコンテンツについてのものではありません。
3. ステータスが 429 なら、待ってから再実行してください。それは制限であり、再実行が修正のすべてです。
4. 200 が返るようになると、スコアは変更すべきことのリストになります。それまでは、ドアについてのレポートです。

成功だけではなく失敗も公開するのはなぜですか？

読めたものだけを報告するサンプルは、到達可能性によって選ばれたサンプルであり、その選択自体が発見だからです。9つの拒否は、有名なドメインでもクローラーアクセスが形式的なものではないという証拠です。

また、読者が監査できる形で方法を誠実に保ちます。結果を悪くする行も含めて、すべての行は調査データのエンドポイント（英語）にあり、スコアを生成したルールセットは方法論のページにあります。