文書の過去の版を表示しています。

robots.txtについて

robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）の可不可を伝えるテキストファイルです。

Googleによる例

Googleのガイドによる記述例

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Googlebot という名前のユーザーエージェントには、https://example.com/nogooglebot/ で始まるいかなる URL のクロールも許可していません。
他のすべてのユーザーエージェントには、サイト全体のクロールを許可しています。このルールは記載していなくても同じ結果になります。デフォルトの動作として、すべてのユーザーエージェントはサイト全体のクロールを許可されているためです。

従って「ユーザーエージェント」「クロールを許可しないURLの指定」「サイトマップ」の記述をする。

ユーザーエージェントは基本的に「*」すべてのクローラーを指定。

クロールしてほしくないURLを指定。

サイトマップのURLを記述。

User-agent: *
Disallow: /example/

Sitemap: https://www.example.com/sitemap.xml