「robots.txt」とは？SEOにも効果的？適切な記述でクローラーに優しいサイトにしよう。

サイトの運営で、検索エンジンがクロールすべきページとそうでないページの区別、できていますか？たとえば、管理ページや非公開コンテンツまでクローラーが訪れてしまい、余計な負荷がかかっているかもしれません。そんな時に役立つのが […]