robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）の可不可を伝えるテキストファイルです。

Googleのガイドによる記述例

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

この robots.txt ファイルの説明:

1. Googlebot という名前のユーザー エージェントには、https://example.com/nogooglebot/ で始まるいかなる URL のクロールも許可していません。
2. 他のすべてのユーザー エージェントには、サイト全体のクロールを許可しています。このルールは記載していなくても同じ結果になります。デフォルトの動作として、すべてのユーザー エージェントはサイト全体のクロールを許可されているためです。

• User-Agent
• Disallow
• Sitemap

3つの要素を記述する。