A bemondott név nem hiteles igazolvány
A böngészőazonosító, vagyis a User-Agent mező tartalmazhat robotnevet. Ezt azonban a kérés küldője adja meg. Egy ismerős név látványa ezért önmagában nem elegendő arra, hogy megbízható szolgáltatótól származónak tekintsük a forgalmat. Az azonosításnál a szolgáltató saját, aktuális ellenőrzési módszerét kell követni.
Az OpenAI robotdokumentációja a különböző robotokhoz közzétett IP-listákat is megad. Az üzemeltető ezekkel vetheti össze a tényleges kapcsolódási címet. Nem egy másik blogon talált régi cím alapján érdemes engedélyezni a forgalmat, és nem is a névben szereplő verziószámot kell állandó igazságként rögzíteni.
A naplóban szereplő cím eredetét is érteni kell. Ha a webhely előtt tartalomszolgáltató vagy proxy működik, a tárhely közvetlenül annak címét láthatja. A valódi klienscímet tartalmazó fejléc csak megfelelő, megbízható proxybeállítás mellett értelmezhető. Egy tetszőleges külső fejlécet nem szabad ellenőrzés nélkül hiteles címként használni.
A szolgáltatók módszerei nem felcserélhetők
A Google például saját dokumentációban írja le a hálózati címlistás és a megfelelő oda-vissza DNS-ellenőrzési lehetőséget. Ez a Google kéréseinek ellenőrzésére szolgál. Nem következik belőle, hogy minden más AI-robotot ugyanazzal a névvégződéssel vagy módszerrel kellene igazolni. Mindig a vizsgált szolgáltató elsődleges útmutatója a kiindulópont.
Az ellenőrzés eredménye legyen háromállapotú: igazolt, nem igazolt vagy a rendelkezésre álló naplóból nem eldönthető. Az utóbbi fontos lehet régi adatoknál, ha már nem áll rendelkezésre a megfelelő hálózati lista vagy a valódi klienscím. A bizonytalan forgalmat ne számítsuk automatikusan hivatalos AI-látogatásnak.
| Naplóadat | Mit mutat? | Mit nem bizonyít? |
|---|---|---|
| Robotnév a User-Agent mezőben | A küldő ezt az azonosítót közölte | A szolgáltató valódi eredetét |
| Hivatalos listával egyező cím | Az adott ellenőrzés szerinti eredetet | A későbbi idézést |
| Sikeres HTTP-válasz | A szerver kiszolgált egy választ | Hogy az a teljes tartalmi oldal volt |
| Letöltött bájtok | Válaszméretet a napló értelmezése szerint | A tartalom megértését |
| Többszöri lekérés | Ismételt hozzáférési próbát | A márka fontosságát vagy rangját |
Vizsgáld meg, mit kapott ténylegesen a robot
A sikeres állapotkód mögött is lehet hibaoldal, belépési felület vagy automatizált ellenőrző képernyő. A naplóban a kétszázas válasz ezért csak az első jel. Fontos a tartalomtípus, a válaszméret, az átirányítás és lehetőség szerint a tényleges kiszolgált tartalom vizsgálata. A külső robotnak és a böngészős látogatónak nem mindig ugyanaz az útvonal jut.
Egy gyakori helyzetben a webalkalmazás minden ismeretlen útvonalra a főoldalt adja vissza. A napló sikeres kérésnek mutatja az URL-t, miközben a keresett termékoldal nem érhető el. Máskor a biztonsági rendszer egy kétszázas ellenőrző oldalt szolgál ki. Az auditban ezeket külön kell választani a valóban sikeres tartalomletöltéstől.
A saját tesztben használt robotnév nem hitelesíti a kérést. Ha egy auditprogram átírja az azonosítót, azzal csak a kiszolgálás bizonyos ágait vizsgálja, nem válik hivatalos szolgáltatói robottá. Ezt az eredményben is jelezni kell, különben a tesztből hamis bizonyosság születik a valódi külső hozzáférésről.
A robot látogatása és az emberi forgalom külön adat
A robotkérést nem szabad hozzáadni az érdeklődő látogatókhoz. Egy automatikus feltérképezés nem jelent vásárlási szándékot, és nem azonos az AI-válaszból érkező kattintással. A szervernapló és a webanalitika eltérő kérdésre válaszol: az egyik hozzáférési eseményt, a másik meghatározott mérési feltételekkel felhasználói eseményt rögzít.
A robotforgalom mégis hasznos üzemi jel. Megmutathatja, hogy egy fontos oldal ismételten tiltott választ kap, túlterhelés miatt hibázik vagy átirányítási körbe kerül. Ezek konkrét technikai problémák. A forgalom mennyisége helyett először a fontos URL-ek elérhetőségét és a hibák mintázatát érdemes vizsgálni.
A feltérképezési csúcsból nem kell automatikusan növekvő márkaérdeklődést következtetni. Okozhatja újrafeltérképezés, hibás URL-generálás vagy sok ismétlődő paraméteres oldal is. Az üzleti riportba akkor kerüljön, ha van hozzá érthető következmény: például jelentős szerverterhelés vagy fontos oldalak elérési hibája.
Milyen adatot kérj az üzemeltetőtől?
A jó hibajegy pontos időszakot és néhány érintett URL-t tartalmaz. Nem szükséges első körben a teljes szervernaplót elkérni. A célzott kivonat gyorsabb és kevesebb adatkezelési terhet jelenthet. Az üzemeltetőnek viszont látnia kell a kapcsolódó biztonsági és proxyeseményeket is, különben a tiltás helye rejtve maradhat.
A naplók IP-címeket és egyéb érzékeny részleteket tartalmazhatnak. A hozzáférést, megőrzést és megosztást a vállalkozás adatkezelési rendjéhez kell igazítani. Nyilvános riportba általában nem szükséges teljes címlistát vagy hozzáférési adatot tenni. Az ellenőrzés eredménye és az érintett technikai probléma többnyire elegendő.
- Időpont és időzóna, hogy a külön naplók összevethetők legyenek.
- Kért URL, HTTP-módszer és válaszállapot.
- Ténylegesen értelmezhető forráscím és User-Agent.
- Átirányítás, tartalomtípus és válaszméret, amennyiben rendelkezésre áll.
- A tűzfal vagy biztonsági szabály azonosítója, ha az eseményhez tartozik.
- Az eredetellenőrzés módszere és időpontja.
Az engedélyezés ne jelentsen korlátlan kivételt
Ha egy hivatalos robot hozzáférését szeretnénk biztosítani, ne kapcsoljuk ki az egész webhely védelmét. A változás legyen szűk, dokumentált és visszaállítható. A nyilvános tartalom elérése nem indokol hozzáférést az adminisztrációhoz, ügyféladatokhoz vagy belső szolgáltatásokhoz. A jogosultsági határ akkor is marad, ha a kérés ismert szolgáltatótól jön.
A robots.txt szabvány kifejezetten nem hozzáférés-engedélyezési rendszer. A benne közölt szabály és a valódi biztonsági védelem külön feladatot lát el. Bizalmas tartalmat ezért nem szabad pusztán robots.txt tiltás mögé tenni, miközben a fájl nyilvánosan letölthető. A hozzáférést hitelesítés és megfelelő szerveroldali jogosultság védi.
A módosítás után két dolgot ellenőrizzünk: a fontos nyilvános oldalak valóban elérhetők-e, és a védett részek továbbra is védettek-e. A feladat akkor zárható le, ha a mért hibát megszüntettük, nem akkor, amikor egy beállítás mentése sikeres. A későbbi AI-idézés külön megfigyelés marad.
Az érintett útvonalak listája kapjon dátumot és felelőst is.
A rendszeres ellenőrzéshez elegendő lehet néhány fontos nyilvános útvonal mintája: főoldal, szolgáltatás, termék, tudásanyag és kapcsolat. Az összes paraméteres URL folyamatos vizsgálata könnyen elvonja a figyelmet a valódi hibákról. Ha azonban a mintában különböző kiszolgálási szabályok működnek, ezeket önállóan kell lefedni. Egyetlen sikeres főoldalkérés nem igazolja, hogy a teljes honlap hozzáférhető.
Gyakori kérdések
A GPTBot megjelenése azt jelenti, hogy a cégünk bekerül az AI-válaszokba?
Nem bizonyítja. A robot célja és a későbbi felhasználás külön kérdés, és a napló nem mutatja a teljes feldolgozási folyamatot. A konkrét megjelenést külön kérdésmintával vagy tényleges hivatkozás megfigyelésével lehet vizsgálni.
Biztonságos minden AI-nevű robotot automatikusan engedni?
Nem célszerű név alapján korlátlan engedélyt adni. Előbb ellenőrizni kell az eredetet, a szolgáltató célját és a saját üzleti döntést. Az engedélyezés legyen szűk, és ne írja felül a védett tartalmak jogosultságait.
Ha nincs AI-robot a naplóban, biztosan nem ismer az AI?
Ez nem állapítható meg. A napló időszaka, a köztes rendszerek és más források is korlátozzák a megfigyelést. A robotkérés hiánya hozzáférési vagy mintabeli adat, nem a modell teljes ismeretanyagának leírása.
Források és további olvasnivaló
- OpenAI: robotok és közzétett hálózati címek ↗
- Google: robotkérések eredetének ellenőrzése ↗
- IETF RFC 9309: robots.txt és hozzáférési szabályok ↗
A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.
Beszéljük át, hogyan ültethető át a gyakorlatba.
Projektet indítokKapcsolódó szolgáltatás: GEO és AI-láthatóság ↗



