# robots.txt for https://metrical.digital # AI agents and crawlers are welcome. See /llms.txt for a curated index # and /openapi.json for the API description. # Questions: richie@metrical.digital User-agent: * Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ # Explicitly allowed AI agents and assistant crawlers. User-agent: GPTBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: ChatGPT-User Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: OAI-SearchBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: ClaudeBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Claude-User Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Claude-SearchBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Claude-Web Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: anthropic-ai Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Googlebot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Google-Extended Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: GoogleOther Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: bingbot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: msnbot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Applebot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Applebot-Extended Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: PerplexityBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Perplexity-User Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: DeepSeekBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Meta-ExternalAgent Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Meta-ExternalFetcher Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: FacebookBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Amazonbot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: MistralAI-User Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: cohere-ai Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: cohere-training-data-crawler Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: CCBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: DuckAssistBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: YouBot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Diffbot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Timpibot Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: Bytespider Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: FirecrawlAgent Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ User-agent: ora-agent Allow: / Allow: /api$ Allow: /api/v1$ Allow: /api/openapi.json$ Disallow: /account Disallow: /checkout Disallow: /api/ Disallow: /md/ Sitemap: https://metrical.digital/sitemap.xml