サイトの運営で、検索エンジンがクロールすべきページとそうでないページの区別、できていますか？
たとえば、管理ページや非公開コンテンツまでクローラーが訪れてしまい、余計な負荷がかかっているかもしれません。そんな時に役立つのが ‘robots.txt’ です。

この記事では、SEO対策として重要な役割を果たす ‘robots.txt’ の正しい設定方法を解説し、クローラーに優しいサイト運営をサポートします。

適切に設定することで、不要なページのクロールを防ぎ、検索エンジンからの評価も向上させる秘訣をお届けします！

robots.txtとは？

robots.txt は、検索エンジンのクローラーに対してウェブサイト内の特定のページやディレクトリをクロールするかどうかを指示するためのファイルです。正しく設定することで、不要なページがインデックスされるのを防ぐことができます。

robots.txt の基本的な書き方

全クローラーにすべてのページを許可

すべてのクローラーに対して、すべてのページをクロールさせる場合。

User-agent: * 
Disallow:

特定のクローラーにすべてのページを許可

例）Googlebot だけに許可する場合。

User-agent: Googlebot
Disallow:

全クローラーに特定のディレクトリをクロール禁止

例）/admin/ ディレクトリをクロール禁止にする場合。

User-agent: * 
Disallow: /admin/

特定のクローラーに特定のページをクロール禁止

例えば、Bingbot に特定のページをクロールさせない場合。

User-agent: Bingbot 
Disallow: /private-page.html

特定のファイルをクロール禁止

PDF ファイルなど特定のファイル形式をクロール禁止にする場合。

User-agent: * Disallow: /*.pdf$

すべてのクローラーにサイト全体をクロール禁止

メンテナンス中などでサイト全体を一時的にクロール禁止にする場合。

User-agent: * 
Disallow: /

サイトマップの指定

サイトマップの場所を指定することで、クローラーに効率的なクロールを促すことができます。t

Sitemap: https://example.com/sitemap.xml

robots.txt ファイルの例

例 1: 特定のページやディレクトリをクロール禁止

User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /private-page.html
Sitemap: https://example.com/sitemap.xml

例 2: 特定のクローラーにだけ制限をかける

User-agent: Googlebot
Disallow: /no-google/
User-agent: Bingbot
Disallow: /no-bing/
Sitemap: https://example.com/sitemap.xml

例 3: 画像ファイルやPDFファイルのクロール禁止

User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.pdf$
Sitemap: https://example.com/sitemap.xml

robots.txt の注意点

• ファイルはサイトのルートディレクトリ（例: https://example.com/robots.txt）に設置する必要があります。
• クローラーによっては、指示に従わない場合もあります。
• Disallow はクロールを防ぎますが、インデックスを防ぐには noindex タグを使う必要があります。