Perusahaan AI seperti OpenAI mengoperasikan robot perayap web (crawler bot) untuk mmerayap situs-situs di internet untuk kemudian datanya digunakan untuk melatih LLM seperti GPT atau Google Gemini. Pemilik situs yang tidak ingin isi situs mereka dirayap oleh robot ini dapat menggunakan robots.txt untuk menjaga agar robot-robot perayap ini tidak mendekat. Robot perayap yang baik umumnya mematuhi robots.txt, tetapi tidak menutup kemungkinan ada robot perayap buruk yang dengan sengaja mengabaikan robots.txt. Dengan kata lain, tidak ada cara untuk menegakkan aturan robots.txt.
Menurut Wikipedia, robots.txt adalah file yang digunakan untuk mengimplementasikan Protokol Pengecualian Robot atau Robots Exclusion Protocol, sebuah standar yang digunakan oleh situs web untuk menunjukkan kepada perayap web yang berkunjung dan robot web lainnya, bagian mana dari situs web yang boleh mereka kunjungi.
Robots.txt bekerja dengan menempatkan file bernama robots.txt di direktori yang dapat diakses oleh peladen web. File ini memiliki sintaks sebagai berikut:
User-agent: {BOT-NAME-HERE}
Allow: {PATH}
atau
User-agent: {BOT-NAME-HERE}
Disallow: {PATH}
Sintaks robots.txt berikut akan memblokir robot AI dari semua bagian situs web tanpa terkecuali.
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
Lebih lanjut, sintaks-sintaks untuk robots.txt di atas dapat digabungkan menjadi satu seperti berikut:
## OpenAI ChatGPT bot
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
## Google Gemini bot
User-agent: Google-Extended
Disallow: /
## Common Crawl
User-agent: CCBot
Disallow: /
## Perplexity AI
User-agent: PerplexityBot
Disallow: /
Daftar perayap web lainnya yang terafiliasi dengan perusahaan AI dapat dilihat di Dark Visitors.