robots.txtは検索エンジンにサイトのURL（ディレクトリ・ファイル）の可不可を伝えるテキストファイルです。
Googleのガイドによる記述例
User-agent: Googlebot Disallow: /nogooglebot/ User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
【１】Googlebot という名前のユーザー エージェントには、https://example.com/nogooglebot/ で始まるいかなる URL のクロールも許可していません。
【２】他のすべてのユーザー エージェントには、サイト全体のクロールを許可しています。このルールは記載していなくても同じ結果になります。デフォルトの動作として、すべてのユーザー エージェントはサイト全体のクロールを許可されているためです。
従って「ユーザーエージェント」「クロールを許可しない」「サイトマップ」の3つの要素で記述をする。
ただし「クロールを許可しない」URL指定の中で一部許可するものがあれば「Allow:」でURL指定する。
ユーザーエージェントは基本的に「*」すべてのクローラーを指定。
クロールを許可しないURLの指定。「Disallow:」のみで指定を空白にすると全てのURLのクロールを許可と同じ意味になる。
クロールを許可しないURLの中の一部許可するURLの指定
サイトマップのURLを記述。（複数指定可）
User-agent: * Disallow: Sitemap: https://www.mysite.com/sitemap.xml
User-agent: * Disallow: /example/ Allow: /example/aaa/ Allow: /example/bbb/ccc.html Sitemap: https://www.mysite.com/sitemap.xml Sitemap: https://www.mysite.com/blog/sitemap.xml