# --- 0. AI ir SEO botų valdymas ---
# AI treniravimo botai (GPTBot, ClaudeBot, CCBot) nuo 2026-09-30 LEIDŽIAMI — žr. bendrą grupę žemiau.
# Bytespider (ByteDance) — BLOKUOTI: agresyvus, nesilaiko Crawl-delay, naudos LT rinkai nėra
User-agent: Bytespider
Disallow: /

# Nereikšmingos rinkos paieškos botai — BLOKUOTI
User-agent: Baiduspider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: YisouSpider
Disallow: /

# SEO analizės botai (agresyvūs, jokios naudos be mokamos prenumeratos) — BLOKUOTI
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SiteAuditBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: SERankingBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: linkdexbot
Disallow: /

User-agent: spbot
Disallow: /

User-agent: GrapeshotCrawler
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# Archyvo botai (duomenų rinkimas be tikslinės naudos) — BLOKUOTI
User-agent: ia_archiver
Disallow: /

User-agent: Exabot
Disallow: /

# AI botai (papildomai) — BLOKUOTI
User-agent: Amazonbot
Disallow: /

# -------------------------------------------------------
# Paieškos, DI asistentų ir DI mokymo robotai (ChatGPT, Claude, Perplexity, Apple/Siri,
# Common Crawl) — LEISTI su tomis pačiomis taisyklėmis kaip visiems (paieška, krepšelis,
# rikiavimas uždaryti; Crawl-delay saugo serverį). Įvardinti atskirai, kad būtų aiškiai
# pritaikyta ši grupė, o ne koks nors kitas draudimas.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: CCBot
User-agent: *

# Sulėtiname visus kitus botus (10s tarp užklausų) — respektuojantys botai laikysis
Crawl-delay: 10

# --- 1. Svarbių resursų leidimas (Būtina Google Mobile-First indeksavimui) ---
# Leidžiame Google matyti stilių, skriptus ir visas nuotraukas
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/
Allow: /image/

# --- 2. Sistemos ir Admin apsauga ---
Disallow: /admin/
Disallow: /system/
Disallow: /storage/
Disallow: /vqmod/
Disallow: /bin/
Disallow: /catalog/controller/
Disallow: /catalog/model/
# Blokuojame šablonų failus (.twig/.tpl), bet ne CSS ar paveikslėlius temoje
Disallow: /catalog/view/theme/*/template/

# --- 3. Talpyklos ir šiukšlinių failų blokavimas ---
# Leidžiame katalogo ir prekių (labelmaker) nuotraukų cache — ten visos prekių
# nuotraukos, image sitemap, og:image ir JSON-LD image
Allow: /image/cache/catalog/
Allow: /image/cache/labelmaker/
# Blokuojame likusį paveikslėlių cache (sistema, logotipai ir t.t.)
Disallow: /image/cache/
Disallow: /download/

# --- 4. Parametrų valdymas (Crawl Budget taupymas) ---
# Blokuojame rikiavimus, limitus ir filtrus – tai apsaugo nuo turinio dublikatų
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=

# --- 5. Puslapiavimas (SAUGUS VARIANTAS) ---
# Naudojame $ ženklą. Tai blokuoja TIK tuščias nuorodas (?page=),
# bet LEIDŽIA robotui eiti į ?page=2, ?page=3 ir t.t.
Disallow: /*?page=$
Disallow: /*&page=$

# --- 6. Vidiniai techniniai maršrutai (Dynamic Routes) ---
# Blokuojame paiešką, krepšelį, prisijungimą – šių puslapių Google nereikia
Disallow: /*?route=product/search
Disallow: /*&route=product/search
Disallow: /*?route=checkout/
Disallow: /*&route=checkout/
Disallow: /*?route=account/
Disallow: /*&route=account/
Disallow: /*?route=affiliate/
Disallow: /*&route=affiliate/
# Paieška SEO adresais (per ją robotai randa prekių URL su ?tag=)
Disallow: /paieska$
Disallow: /paieska?
Disallow: /en/search$
Disallow: /en/search?
Disallow: /ru/poisk$
Disallow: /ru/poisk?

# --- 7. Sitemap nuorodos ---
Sitemap: https://www.restoranu.eu/index.php?route=extension/module/isenselabs_seo/sitemap_feed
Sitemap: https://www.restoranuiranga.lt/index.php?route=extension/module/isenselabs_seo/sitemap_feed
Sitemap: https://www.vakuumavimomaiseliai.lt/index.php?route=extension/module/isenselabs_seo/sitemap_feed
Sitemap: https://www.ascaso.lt/index.php?route=extension/module/isenselabs_seo/sitemap_feed