A keresés és a tanítás nem azonos feladat
Az OpenAI 2026. november 15-én ellenőrzött robotleírása szerint az OAI-SearchBot a ChatGPT keresési funkcióihoz kapcsolódik, míg a GPTBot olyan feltérképezést végez, amelynek tartalma modelltréninghez használható. A két beállítás egymástól függetlenül kezelhető. Ebből nem következik, hogy az egyik engedése garantálja az idézést, vagy a tiltás minden korábbi információt eltávolít.
A vállalkozásnak először saját döntési lapot érdemes készítenie. Mely tartalom nyilvános ügyféltájékoztatás? Mely anyaghoz tartozik külön licenc vagy szerződéses feltétel? Mi a cél a keresési jelenléttel? Az általános beállítás helyett így érthető tartalmi kategóriák alapján lehet a lehetőségeket mérlegelni.
A technikai jelzés nem helyettesít jogi állásfoglalást. A robots.txt-ben közölt kívánság, a szerzői jogi vagy szerződéses kérdés és a valódi hozzáférés-védelem külön szint. Ha egy anyag bizalmas, ne legyen nyilvánosan letölthető pusztán azért, mert egy robotnak tiltást írtunk. Ehhez valódi jogosultsági védelem szükséges.
A hirdetésellenőrző robot külön helyzetben érkezik
Az OAI-AdsBot a dokumentáció szerint a ChatGPT-hirdetésként benyújtott oldalak ellenőrzéséhez kapcsolódik, és az így gyűjtött adatot nem használják generatív alapmodellek tanítására. Ez a hirdetés céloldalának vizsgálata, nem a honlap teljes keresési stratégiája. A keresőrobot engedése és a kampány ellenőrizhetősége ezért külön feladat.
A hirdető számára gyakorlati kérdés, hogy a benyújtott céloldal valóban elérhető-e, és ugyanazt az ajánlatot mutatja-e, mint a kampány. Ha belépés, ellenőrző képernyő vagy hibás átirányítás áll az útban, először ezt kell rendezni. Az ellenőrzés sikerét nem célszerű egy másik robothoz tartozó naplóbejegyzésből levezetni.
A táblázat célja az eltérő döntések szétválasztása. Nem jelent teljes körű garanciát arra, hogy minden külső kérés pontosan ilyen néven érkezik, vagy minden szolgáltató ugyanígy működik. A hálózati és biztonsági szabályokat mindig az aktuális hivatalos dokumentációval kell összevetni.
| Robot vagy kérés | Dokumentált cél röviden | Üzleti döntés |
|---|---|---|
| OAI-SearchBot | Keresési funkciókhoz kapcsolódó feltérképezés | Mely nyilvános tartalom legyen elérhető? |
| GPTBot | Modelltréninghez használható feltérképezés | Milyen felhasználási jelzést kívánunk közölni? |
| OAI-AdsBot | Benyújtott hirdetési oldalak ellenőrzése | Elérhető-e a valós kampányajánlat? |
| ChatGPT-User | Bizonyos felhasználó által indított műveletek | Milyen nyilvános vagy védett hozzáférés adott? |
A felhasználó által indított kérésnek más a háttere
A ChatGPT-User leírása szerint bizonyos felhasználói műveletekhez kapcsolódik, nem automatikus webfeltérképezéshez. Az OpenAI azt is jelzi, hogy ilyen esetben a robots.txt szabályai nem feltétlenül alkalmazhatók ugyanúgy. Ezért nem szabad minden naplóbejegyzést egyetlen „tanítórobot” kategóriába sorolni.
A vállalkozás számára ez azt jelenti, hogy a nyilvános oldal és a védett felület határát a valódi jogosultság szabályozza. Egy ügyfélfiók adata nem válhat hozzáférhetővé azért, mert a kérés egy ismert eszköztől érkezik. Az, hogy egy felhasználó egy AI-t kér meg az oldal megnyitására, nem jogosítja fel automatikusan a rendszert más ügyfél adatainak elérésére.
A naplóban látható letöltésből a felhasználói szándékot sem ismerjük meg teljesen. Lehet összefoglalási kérés, ellenőrzés vagy más támogatott művelet. A riportban ezért a dokumentált technikai kategóriát használjuk, és ne találjunk ki mögé konkrét ügyféltörténetet vagy értékesítési lehetőséget.
A beállításokat a teljes hozzáférési úton ellenőrizd
A robots.txt tartalma csak egy része a működésnek. A tartalomszolgáltató hálózat, a botvédelem, a tárhely és az alkalmazás külön is akadályozhatja a kérést. Ha a vállalkozás egy célhoz hozzáférést kíván engedni, annak ténylegesen végig kell jutnia az érintett nyilvános oldalig. A fájl mentése önmagában nem elfogadási teszt.
Az RFC 9309 a robots.txt működési szabályait írja le, és elválasztja azt a hozzáférés jogosultsági kezelésétől. Ez fontos védelmi alapelv. A tiltás tiszteletben tartására épülő feltérképezési szabály és a szerveroldali belépési követelmény más problémát old meg. A két eszköz nem cserélhető fel egymással.
A teszt során a fontos nyilvános URL-eket válasszuk ki, és ellenőrizzük a tényleges állapotkódot, tartalmat és átirányítást. Ha valódi szolgáltatói robot naplója elérhető, az eredetet a hivatalos módszerrel igazoljuk. A saját tesztkérés User-Agent mezőjének átírása csak részvizsgálat, nem hiteles szolgáltatói azonosítás.
Kinek kell jóváhagynia a döntést?
A keresési jelenlét marketingkérdésnek látszik, de a felhasználási célról a tartalom gazdájának és szükség esetén jogi felelősnek is tudnia kell. A technikai megvalósítást az üzemeltető végzi. Ha a döntés és a kivitelezés külön embernél van, a kívánt állapotot világos, közös nyelven kell rögzíteni.
A jóváhagyás nem feltétlenül bonyolult folyamat. Egy kis cégben lehet rövid, dátumozott döntési lap. A lényeg, hogy hónapokkal később is érthető legyen, miért szerepel egy szabály a fájlban, és ki tud dönteni a módosításáról. A magyarázat nélküli, más honlapról másolt szabályok idővel nehezen kezelhetővé válnak.
- Nevezzük meg a szolgáltatót, robotot és a dokumentáció ellenőrzési dátumát.
- Írjuk le a kívánt üzleti célt, nem csak a technikai sort.
- Határozzuk meg az érintett nyilvános tartalmi kört.
- Jelöljük a védett vagy külön feltételhez kötött területeket.
- Rögzítsük a felelőst, a tesztet és a visszaállítás lehetőségét.
- A változás bekerül a technikai és tartalmi változásnaplóba is.
A hozzáférésből ne ígérj rangsort vagy gyors eredményt
Az engedélyezett feltérképezés nem azonos azzal, hogy a cég releváns választ ad minden kérdésre. A tartalom tényszerűsége, a felhasználói igény és a külső rendszer forrásválasztása továbbra is számít. Az üzemeltető azt vállalhatja, hogy a kívánt nyilvános oldal elérhető, nem azt, hogy egy adott napon biztosan ajánlják majd.
A Google AI-funkciós útmutatója is az alapvető keresési és tartalmi feltételekhez kapcsolja a részvételt, külön AI-megjelenési garancia nélkül. Ezt nem szabad más szolgáltató pontos működésének leírásaként átvenni, de segít a vállalati elvárás rendezésében: a hozzáférési hiba javítása és az üzleti láthatóság javulása külön ellenőrzés.
A szabályokat időnként felül kell vizsgálni, mert a szolgáltatói dokumentáció és a saját üzleti cél is változhat. Nem szükséges minden nap átírni a robots.txt-t. Inkább legyen kijelölt felelős, aki jelentős változáskor ellenőrzi a hivatkozott elsődleges forrást, majd a döntést a konkrét működésen is leteszteli.
A felülvizsgálat része legyen a régi kivételek takarítása is. Egy korábbi kampányhoz létrehozott hozzáférés nem feltétlenül szükséges korlátlan ideig. A megszűnt aloldalak, tesztek és ideiglenes szolgáltatások szabályait rendezni kell, hogy a konfiguráció a jelenlegi működést tükrözze. Ez egyszerűbbé teszi a későbbi hibakeresést és csökkenti a félreértés esélyét.
Gyakori kérdések
Engedhetem a keresőrobotot úgy, hogy a tanítórobotot nem engedem?
Az OpenAI dokumentációja külön kezelhető beállításként írja le ezeket. A konkrét szabályt az aktuális útmutató alapján kell kialakítani és ellenőrizni. A döntés nem helyettesíti a tartalomhoz kapcsolódó jogi és hozzáférési kérdések külön mérlegelését.
A hirdetésellenőrző robot engedése javítja az organikus ajánlásaimat?
Erre nem szabad ígéretet alapozni. A hirdetés céloldalának ellenőrzése és a keresési válaszok forrásválasztása eltérő feladat. A fizetett kampány és az organikus megjelenés eredményét is külön kell mérni.
Minden robotváltozatot kézzel fel kell sorolnom?
Nem feltétlenül. A helyes szabály a szolgáltató dokumentált azonosítójára és a használt rendszer működésére épül. A verziószámok és címtartományok változhatnak, ezért a tartós karbantartási módszer fontosabb, mint egy egyszer bemásolt, később elfelejtett lista.
Források és további olvasnivaló
- OpenAI: a robotok célja és kezelése ↗
- IETF RFC 9309: a robots.txt szabvány ↗
- Google Search Central: AI-funkciók és webhelyek ↗
A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.
Beszéljük át, hogyan ültethető át a gyakorlatba.
Projektet indítokKapcsolódó szolgáltatás: GEO és AI-láthatóság ↗



