それは理解しておくべき重要なポイントです。間違った方法を使用すると、ページが意図したとおりにインデックスから削除されないだけでなく、SEOに悪影響を及ぼす可能性があります。
どの削除方法が最適かをすばやく判断できるように、記事の関連セクションにスキップできるようにフローチャートを作成しました。
この投稿では、次のことを学びます。
- URLがインデックス化されているかどうかを確認する方法
- GoogleからURLを削除する5つの方法
- 削除に優先順位を付ける方法
- 回避すべき一般的な削除ミス
- サイトにないコンテンツを削除する方法
- 画像を削除する方法
コンテンツがインデックスに登録されているかどうかを確認するためにSEOが通常行うことは、site：Googleでの検索（例：site：https：//ahrefs.com）を使用することです。サイト：検索は、検索結果に表示される場合に問題となる可能性のあるWebサイトのページまたはセクションを特定するのに役立ちますが、これらは通常のクエリではなく、ページが実際にあるかどうかを実際には通知しないため、注意が必要ですインデックス付き。Googleに認識されているページが表示される場合がありますが、それは、site：演算子なしで通常の検索結果に表示できることを意味するものではありません。
たとえば、site：検索では、別のページにリダイレクトまたは正規化されたページを引き続き表示できます。特定のサイトを要求すると、Googleはそのドメインのページに、別のドメインのコンテンツ、タイトル、説明を表示する場合があります。semoz.orgであったmoz.comを例にとります。moz.comのページにつながる通常のユーザークエリでは、SERPにmoz.comが表示されますが、以下に示すように、site：seomoz.orgには検索結果にseomoz.orgが表示されます。
これが重要な違いである理由は、SEOがURLを積極的にブロックしたり、古いドメインのインデックスからURLを削除したりして、PageRankのようなシグナルの統合を妨げる可能性があるためです。これらのページが引き続きsite：old-domain.comの検索で表示され、問題を「修正」しようとするとウェブサイトに積極的に損害を与えるため、ドメインの移行で多くのケースが見られます。
インデックス作成を確認するより良い方法は 、Google Search Consoleのインデックスカバレッジレポートを使用するか 、個々のURLに対してURL検査ツールを使用することです。これらのツールは、ページがインデックスに登録されているかどうかを示し、Googleによるページの処理方法に関する追加情報を提供します。これにアクセスできない場合は、ページの完全なURLをGoogleで検索してください。
Ahrefsでは、「トップページ」レポートまたはオーガニックキーワードのランキングでページを見つけた場合、通常、通常の検索クエリのランキングが表示されていることを意味し、ページにインデックスが付けられたことを示しています。ページを表示したときにインデックスが付けられていましたが、変更されている可能性があります。最後にページを参照した日付でクエリを確認します。
特定のURLに問題があり、インデックスから削除する必要がある場合は、記事の冒頭にあるフローチャートに従って正しい削除オプションを見つけてから、以下の適切なセクションにジャンプしてください。
ページを削除して404（見つかりません）または410（存在しない）ステータスコードを提供すると、ページは再クロールされた直後にインデックスから削除されます。削除されるまで、ページは引き続き検索結果に表示される可能性があります。また、ページ自体が利用できなくなっても、キャッシュされたバージョンのページが一時的に利用できる場合があります。
別のオプションが必要な場合：
- より迅速な除去が必要です。URL削除ツールのセクションを ご覧ください。
- リンクなどの信号を統合する必要があります。 正規化のセクションを参照してください。
- ユーザーが利用できるページが必要です。 noindexまたはアクセス制限セクションが状況に合っているかどうかを確認してください。
削除オプション2：Noindex
noindex メタrobotsタグ またはx‑robotsヘッダーレスポンスは、インデックスからページを削除するよう検索エンジンに指示します。meta robotsタグは、xロボットの応答がページやPDFなどの追加のファイルタイプに対して機能するページに対して機能します。これらのタグを表示するには、検索エンジンがページをクロールできる必要があります。そのため、robots.txtでタグがブロックされていないことを確認してください。また、インデックスからページを削除すると、リンクやその他のシグナルが統合されなくなる可能性があることに注意してください。
メタロボットnoindexの例：
<meta name = "robots" content = "noindex">
ヘッダーレスポンスのx‑robots noindexタグの例：
HTTP / 1.1 200 OK X-Robots-Tag：noindex
別のオプションが必要な場合：
- ユーザーにこれらのページにアクセスしてほしくない。 アクセスの制限のセクションを参照してください。
- リンクなどの信号を統合する必要があります。 正規化のセクションを参照してください。
削除オプション3：アクセスの制限
一部のユーザーはページにアクセスできるが、検索エンジンはアクセスできないようにする場合は、次の3つのオプションのいずれかがおそらく必要です。
- ある種のログインシステム。
- HTTP認証 （アクセスにはパスワードが必要です）;
- IPホワイトリスト（特定のIPアドレスのみがページにアクセスできるようにします）
このタイプのセットアップは、内部ネットワーク、メンバー専用コンテンツ、ステージング、テスト、開発サイトなどに最適です。これは、ユーザーのグループがページにアクセスできるようにしますが、検索エンジンはそれらにアクセスできず、ページのインデックスも作成されません。
別のオプションが必要な場合：
- より迅速な除去が必要です。URL削除ツールのセクションを ご覧ください。この特定のケースでは、非表示にしようとしているコンテンツがキャッシュされていて、ユーザーにそのコンテンツが表示されないようにする必要がある場合は、すぐに削除する必要があります。
削除オプション4：URL削除ツール
Googleが提供するこのツールの名前は、コンテンツが一時的に非表示になることから、少し誤解を招きます。Googleは引き続きこのコンテンツを表示してクロールしますが、ページはユーザーには表示されません。この一時的な効果はGoogleで6か月間持続しますが、Bingには同様のツールが3か月持続します。これらのツールは、セキュリティの問題、データ漏洩、個人を特定できる情報（PII）などの最も極端な場合に使用する必要があります。Googleの場合は、削除ツール を使用し、Bingの場合は、URLをブロックする方法を参照してください。
ページを実際に長期間削除する（noindexまたは削除）か、リンクがまだある場合にユーザーがコンテンツにアクセスできないようにする（削除またはアクセスを制限する）には、削除ツールを使用して別の方法を適用する必要があります。これは、削除の処理に時間をかけながら、ページをより速く隠す方法を提供します。リクエストの処理には最大で1日かかる場合があります。
削除オプション5：正規化
ページに複数のバージョンがあり、単一のバージョンへのリンクなどのシグナルを統合したい場合は、何らかの形の正規化を行います。これは主に 、ページの複数のバージョンを単一のインデックス付きURLに統合するときに、コンテンツの重複を防ぐためです。
いくつかの正規化オプションがあります。
- 正規タグ。これは、正規バージョンまたは表示するバージョンとして別の URLを指定します。ページが重複しているか非常に似ている場合は、これで問題ありません。ページがあまりにも異なる場合、それは指示ではなくヒントであるため、正規化は無視される場合があります。
- リダイレクト。リダイレクトは、ユーザーと検索ボットをあるページから別のページに移動します。301はSEOで最も一般的に使用されるリダイレクトであり、最終的な URLを検索結果に表示するものにして、信号が統合される場所にすることを検索エンジンに伝えます。302または一時的なリダイレクトは、元の URLをインデックスに残しておき、そこに信号を統合することを検索エンジンに指示します。
- URLパラメータ処理。パラメータはURLの末尾に追加され、通常、ahrefs.com？this = parameterのように疑問符が含まれます。Googleが提供するこのツールを使用すると、特定のパラメータを使用してURLを処理する方法を伝えることができます。たとえば、パラメーターがページコンテンツを変更するか、それとも使用状況を追跡するためだけのものかを指定できます。
Googleのインデックスから削除するページが複数ある場合は、それに応じて優先順位を付ける必要があります。
最優先：これらのページは通常、セキュリティ関連または機密データに関連しています。これには、個人データ（PII）、顧客データ、または専有情報を含むコンテンツが含まれます。
中優先度：通常、これには特定のユーザーグループ向けのコンテンツが含まれます。会社のイントラネットまたは従業員のポータル、メンバー専用のコンテンツ、ステージング、テスト、または開発環境。
低優先度：これらのページには通常 、何らかの重複したコンテンツが含まれています。このいくつかの例には、複数のURL、パラメーター付きのURLから提供されるページが含まれ、ステージング、テスト、または開発環境が含まれる可能性があります。
通常は削除が正しく行われないのを見るいくつかの方法と、各シナリオで何が起こるかをカバーして、人々がそれらが機能しない理由を理解できるようにします。
robots.txtのnoindex
Googleはrobots.txtのnoindexを非公式にサポートしてきましたが、公式の標準ではなかったため、正式にサポートを削除しました。これを行っていたサイトの多くは、これを間違って行っており、自分自身に危害を加えていました。
robots.txtでのクロールのブロック
クロールはインデックス作成と同じではありません。Googleがページのクロールをブロックされている場合でも、ページへの内部リンクまたは外部リンクがあれば、それらをインデックスに登録できます。Googleはクロールしないため、ページの内容を認識しませんが、ページが存在することを知っており、ページ へのリンクのアンカーテキストなどの信号に基づいて、検索結果に表示するタイトルを書き込みます。
フォローしない
これは一般にnoindexと混同され、一部の人々はページがインデックス付けされないことを期待してページレベルで使用します。Nofollow はヒントであり、元々はページ上のリンクとnofollow属性を持つ個々のリンクのクロールを停止していましたが、現在はそうではありません。Googleは、必要に応じてこれらのリンクをクロールできるようになりました。Nofollowは、Googleが特定のページにクロールスルーしないようにするため、およびPageRankスカルプティングのために、個々のリンクにも使用されました。繰り返しますが、これはnofollowがヒントであるため機能しません。以前は、ページに別のリンクがあった場合でも、Googleはこの代替クロールパスから検出できました。
Ahrefsのサイト監査のページエクスプローラーでこのフィルターを使用すると、フォローされていないページをまとめて見つけることができます。
ページ上のすべてのリンクをnofollowすることはほとんど意味がないので、結果の数はゼロまたはゼロに近いはずです。一致する結果がある場合は、noindexの代わりにnofollowディレクティブが誤って追加されていないか確認し、必要に応じてより適切な削除方法を選択することをお勧めします。
リンクエクスプローラーでこのフィルターを使用して、nofollowとマークされた個々のリンクを見つけることもできます。
Noindexおよび別のURLの正規
これらの信号は競合しています。Noindexはページをインデックスから削除するように指示し、canonicalは別のページがインデックスに登録されるバージョンであると指示しています。通常、Googleはnoindexを無視し、代わりに正規信号を主信号として使用するため、これは統合に有効です。ただし、これは絶対的な動作ではありません。アルゴリズムが含まれており、noindexタグがシグナルをカウントする可能性があるというリスクがあります。その場合、ページは適切に統合されません。
Site Auditのページエクスプローラーでこのフィルターのセットを使用して、非自己参照カノニカルのインデックスのないページを見つけることができます。
Noindex、Googleがクロールするのを待ってから、クロールをブロックする
これが通常発生する方法はいくつかあります。
- ページは既にブロックされていますが、インデックスに登録されています。Googleがnoindexをクロールして表示できるようにnoindexとブロック解除を追加し、ページのクロールを再度ブロックします。
- ユーザーは削除したいページにnoindexタグを追加し、Googleがnoindexタグをクロールして処理した後、ページのクロールをブロックします。
いずれにしても、最終状態はクロールからブロックされます。覚えているかと思いますが、先ほど、クロールとインデックス作成の違いについて説明しました。これらのページはブロックされていますが、インデックスに登録される可能性があります。
別のウェブサイトで使用されているコンテンツを所有している場合、デジタルミレニアム著作権法（DMCA）に基づいて申し立てを行うことができる場合があります。Googleの著作権削除ツール を使用して、著作権で保護された素材の削除を要求するDMCA削除と呼ばれる処理を行うことができます。
自分のコンテンツではあるが、自分のサイトではない場合はどうなりますか？
EUに居住している場合、忘れられる権利の裁判所命令により、あなたに関する情報を含むコンテンツを削除することができます。EUプライバシー削除フォームを使用して、個人情報の削除をリクエストできます。
Googleから画像を削除するには、robots.txtを使用するのが最も簡単な方法です。前に述べたように、ページを削除するための非公式のサポートはrobots.txtから削除されましたが、単に画像のクロールを許可しないことが画像を削除する正しい方法です。
単一の画像の場合：
ユーザーエージェント：Googlebot-Image 禁止：/images/dogs.jpg
すべての画像：
ユーザーエージェント：Googlebot-Image 許可しない：/
最終的な考え
URLを削除する方法はかなり状況に応じて異なります。いくつかのオプションについて説明しましたが、それでも混乱する場合は、最初のフローチャートを参照してください。