WordPressにrobots.txtを設置する方法と書き方

WordPressにrobots.txtファイルを設置する方法とSEOに効くrobots.txtの書き方を解説します。

robots.txtとは?

robots.txtとはGoogle等の検索エンジンのクローラーにインデックス登録の可否やフォローの可否を指示するためのファイルです。

WordPressとrobots.txt

WordPressでは誠実に運営していてもアーカイブページやカテゴリーページ等の重複コンテンツ、プロフィールページやお問い合わせページ等、コンテンツ量が少ないページがどうしても出てきてしまいます。
また、画像やテーマ等、インデックスが不要のページもあります。
こうしたページへのクロールをrobots.txtを使って制限することでGoogle等の検索エンジンからの評価を高めたり、正当に評価されるようにします。


robots.txtの設定方法

robots.txtファイルの作成方法や書き方、設置する場所、注意点を解説します。

robots.txtの書き方

robots.txtは名前の通り、txtファイルに記述します。
基本的な書き方は以下のとおり。

User-agent: *
Disallow: /example1/
Allow: /example2/

「User-agent:」でクローラーを指定します。

全てのクローラーを指定する場合は「User-agent: *」です。

「Disallow:」でクローラーのアクセスをブロック。

例えば「Disallow: /example1/」の場合、「http://example.com/example1/」へのアクセスをブロックする指示になります。

「Allow:」でクローラーのアクセスを許可。

例えば「Allow: /example2/」の場合、「http://example.com/example2/」へのアクセスを許可する指示になります。

そんな感じで私がこのブログに設定しているrobots.txtは以下の通り。

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
Allow: /wp-content/

Disallow: /*?*
Disallow: /*?

Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

さらに私はGoogle画像検索とGoogle AdSenseのボット向け指示も記述しています。

# allow google image bot to search all images
User-agent: Googlebot-Image
Allow: /*

# allow Google adsense bot on entire site
User-agent: Mediapartners-Google*
Allow: /*

これも同じrobots.txt内に書きます。

このように自分のブログに合わせて書いてみてください。

失敗すると自分のブログが検索で表示されない可能背もあるのでしっかり自分のブログの構造をみて設置してください。

robots.txtを設置する場所

robots.txtはサイトのドメイン直下に置きます。
例えば、http://example.comというサイトだったら、http://example.com/robots.txtとなるようにrobots.txtファイルを置きます。
WordPressの管理画面からは置けないので、FTPクライアント等を使って直接設置してください。

robots.txtの注意点

robots.txtに関する注意点です。

  • robots.txtは絶対ではありません。守らないクローラーも存在します。
  • GoogleはHTMLや画像、CSS、Javascript ファイル等もクロールさせるようにしてほしいといっています。
  • わざわざAllow記述をしなくても基本的にクローラーはクロールしてくれます。
  • robots.txtではなくrobots.txtです。sが入ります。
  • robots.txtはあくまでクローラーやボットへの指示です。人間がサイトを見る分には影響ありません。

まとめ

自分のブログをしっかりGoogle等の検索エンジンに見てもらうために有効なSEOです。
難しい部分もあるかもしれませんが、一度設定すればずっと有効なのでしっかり設置しておきましょう。
また、これはWordPress以外のサイトにももちろん有効です。


関連記事

  1. WordPressをプラグインでバックアップする方法

  2. WordPressとは何か?|魅力や使い方、メリットなど。

  3. ブログはテーマを分けて複数運営すべきか?

  4. WordPressのセキュリティを強化する10の方法

  5. WordPressのサイトを多言語化する方法

  6. WordPressのSEO|カテゴリーに説明を追加する

  7. WordPressの多言語化プラグインに「WPML」レビュー

  8. WordPress Related Posts|サムネイル付きの関連記事表示プラグイン

PAGE TOP