お問い合わせ
お問い合わせ
ホーム > WordPress > SEO対策 > robots.txtの編集方法と注意点【WordPressサイトのSEO対策に必須】

robots.txtの編集方法と注意点【WordPressサイトのSEO対策に必須】

WordPress
robots.txtの編集に関するイラスト。ロボットとrobots.txtファイル、警告アイコンが描かれている。
robots.txtの編集方法と注意点を解説するためのイメージイラスト

です。本記事では、robots.txtの役割・編集方法・注意点について、WordPressサイト運営者向けに分かりやすく解説します。

robots.txtとは？

robots.txt（ロボッツテキスト）は、検索エンジンのクローラーに対して「このページはクロールしてよい」「このディレクトリは見ないで」といった指示を出すファイルです。

ルートディレクトリ（例：https://example.com/robots.txt）に配置されており、クローラーはまずこのファイルを確認してから巡回を開始します。

robots.txtの基本構文

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

意味：

  • User-agent: 対象となるクローラー（* はすべてのクローラーを意味）
  • Disallow: クロールを禁止したいパス
  • Allow: クロールを許可したいパス（Disallowと併用可）

WordPressでrobots.txtを編集する方法

方法①：サーバー上で直接編集（推奨）

  1. サーバーにFTPまたはファイルマネージャーで接続
  2. サイトルート（public_htmlなど）にある robots.txt を開く
  3. 内容を編集し、保存

※存在しない場合はテキストファイルを新規作成し「robots.txt」としてアップロード可能。

方法②：プラグインを使って編集（初心者向け）

例えば、以下のSEO系プラグインで編集可能です。

  • All in One SEO
    • 管理画面 > All in One SEO > ツール > Robots.txt エディター
  • Yoast SEO
    • 管理画面 > SEO > ツール > ファイルエディタ

※プラグインで生成されたrobots.txtは仮想ファイルのため、FTP上には存在しません。

よくあるrobots.txtの例（WordPress向け）

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml

この例では、ログインページや検索結果ページをクロールさせず、sitemapの場所を指定しています。

robots.txtを編集する際の注意点

1. インデックス阻止とクロール阻止の違いに注意

robots.txtは「クロールの可否」を制御しますが、**インデックス登録を防ぐにはメタタグ（noindex）**も必要です。

2. 重要ページを誤ってブロックしない

たとえば、/wp-content/を一括でブロックすると、CSSやJSファイルまで読み込めなくなり、Googleがページを正しく表示・評価できなくなる恐れがあります。

3. URLパラメータのクロール制御に注意

検索結果ページ（例：?s=検索語）は、基本的にクロール不要です。Disallow: /?s= と明示しておくとよいでしょう。

編集後のrobots.txtの確認方法

以下のURLで正しく表示されるか確認しましょう：

https://自分のドメイン/robots.txt

また、Google Search Console の「robots.txtテスター（旧ツール）」は廃止されましたが、今後はURL検査ツールなどでの確認が推奨されます。

まとめ

  • robots.txtはクローラーの巡回範囲を制御する重要なファイル
  • WordPressではFTPまたはSEOプラグインで簡単に編集可能
  • 誤った設定はSEOに悪影響を及ぼすため注意が必要

サイトの成長に応じて、robots.txtの内容も定期的に見直しましょう！

こちらの記事もおすすめ