Robots.txt és noindex: két eltérő feladat

Kiinduló helyzet és döntési feladat

Egy korábban ismert tesztoldalra robots.txt tiltás kerül, majd az üzemeltető biztos eltűnést vár a találatokból. E példán jól látszik, hogy a kívánt célhoz kell eszközt választani, és a privát adatot tényleges hozzáférés-védelemmel kell ellátni.

A kívánt végállapot

Válaszd külön a terheléscsökkentést, az indexelés kizárását és a privát adatok védelmét. E célok eltérő technikai eszközt igényelnek.

Írd le egy mondatban az elvárt állapotot. Az ellenőrzés fő kérdése: Mit akarsz pontosan megakadályozni?

Robotokra szabott szabály

A robots.txt hatókörét robot és útvonal szerint vizsgáld. A tág tiltás fontos oldalt is érinthet.

Tesztelj engedett és tiltott mintacímeket. Az ellenőrzés fő kérdése: Melyik szabály hat túl szélesen?

Feldolgozható noindex

Az indexelési jelzést hozzáférhető válaszban add ki. Az elzárt oldal utasítását nem feltétlenül ismeri meg a robot.

Ellenőrizd a fejlécet és HTML-t. Az ellenőrzés fő kérdése: Látható az utasítás a keresőnek?

Valós hozzáférés-védelem

Bizalmas tartalomhoz alkalmazz hitelesítést és jogosultságkezelést. A nyilvános robots.txt nem jelszavas védelem.

Próbáld elérni a dokumentumot kijelentkezve. Az ellenőrzés fő kérdése: A jogosulatlan látogató ténylegesen kizárt?

Környezetek

A fejlesztési és éles beállítások legyenek elkülönítve. A tesztből örökölt tiltás éles tartalmat zárhat ki.

Élesítéskor nézd át a robotjelzéseket. Az ellenőrzés fő kérdése: Mi észleli a véletlenül megmaradt tiltást?

Változási napló

Rögzítsd a szabály célját, hatókörét és módosítási időpontját. Az állapot nem feltétlenül változik azonnal.

Később ugyanazokat a mintákat vizsgáld. Az ellenőrzés fő kérdése: A viselkedés megfelel a választott célnak?

Részletes megvalósítás és szakmai döntések

A robots.txt és a noindex közti különbséget a cél felől lehet legegyszerűbben megérteni. A robotoknak szóló feltérképezési szabály azt jelzi, milyen útvonalat ne járjanak be az adott szabályt követő automatizált látogatók. Az indexelési jelzés viszont a tartalom keresőbeli megjelenésével kapcsolatos szándékot közöl. A privát tartalom védelme harmadik kérdés: ott azt kell megakadályozni, hogy jogosulatlan személy egyáltalán hozzáférjen az anyaghoz. Ha ezeket egyetlen tiltásként kezeled, könnyen nem azt az eredményt kapod, amelyet a vállalkozás elvár.

Készíts három külön példát a saját webhelyedről. Az első lehet egy nyilvános, keresőben kívánt szolgáltatásoldal. A második egy publikus, de találati megjelenésre nem szánt köszönőoldal. A harmadik egy ügyfélhez tartozó belső dokumentum. Az elsőnél fontos a hozzáférés és indexelhetőség, a másodiknál indokolt lehet indexelési kizárás, a harmadiknál valódi hitelesítés szükséges. A konkrét technikai megoldást a használt rendszerben ellenőrizd. A példák célja az eltérő feladat megmutatása, nem minden URL automatikus azonos besorolása.

A robots.txt módosítása előtt nézd meg az összes meglévő csoportot. Egy általános csillagos szabály és egy külön megnevezett robotra szóló csoport viszonya befolyásolja a tényleges viselkedést. A túl tág útvonalminta több oldalt érinthet, mint amit a készítője gondolt. Ezért legyenek pozitív minták, amelyeknek elérhetőnek kell maradniuk, és negatív minták, amelyeket a szabály érinthet. A teszt nem egyetlen tiltott URL kipróbálása: legalább ilyen fontos meggyőződni arról, hogy a nyilvános szolgáltatásoldal nem került véletlenül ugyanabba a körbe.

Az indexelési kizárásnál a jelzés megismerhetősége fontos. Ha egy kereső nem fér hozzá a tartalomhoz, nem magától értetődő, hogy a benne elhelyezett új utasítást is feldolgozza. A korábban ismert URL eltűnését ezért nem szabad pusztán egy feltérképezési tiltástól biztosra ígérni. Vizsgáld a konkrét helyzetet és az adott kereső aktuális útmutatóját. A riportban külön jelezd, mit változtattál meg, és milyen állapotot lehet ténylegesen megfigyelni. A saját szándék és a már feldolgozott keresőállapot nem feltétlenül azonos pillanatban változik.

A privát anyagoknál a robotpreferencia különösen veszélyes hamis biztonságérzetet kelthet. A robots.txt nyilvános fájl, és nem hitelesíti a látogatót. Egy ügyféladatot tartalmazó PDF-nek nem elég ott tiltott útvonalon szerepelnie. Próbáld meg közvetlen címmel, kijelentkezett böngészőből megnyitni. Ha az anyag látható, a bizalmasságot más szinten kell rendezni. A fejlesztővel jogosultsági szabályt, megfelelő kiszolgálást és szükség szerint tárolási megoldást kell kialakítani. Az ellenőrzés itt hozzáférési próba, nem SEO-eszközben látható zöld jelzés.

Webhelyindításkor külön veszély a fejlesztési környezetből örökölt tiltás. A tesztoldal védelme indokolt lehetett, de az éles szolgáltatásoldalakon más a cél. A telepítési folyamat tartalmazza a robots fájl, robots metaelem és HTTP-fejléc ellenőrzését. Ugyanakkor az élesítés ne oldja fel automatikusan a tesztkörnyezet valódi védelmét. A két környezetnek külön szabályzata és ellenőrzése legyen. A feladat lezárása azt jelenti, hogy a megfelelő helyen a megfelelő tartalom nyilvános, nem azt, hogy minden felület minden automatizált látogató számára elérhetővé vált.

A WordPress adminbeállítását ellenőrizd a kimenettel is. Egy általános indexelési opció mellett bővítmény vagy szerverkonfiguráció szintén adhat jelzést. A kész oldal forrása és HTTP-fejléce együtt mutatja, mit kap a látogató. Ha két réteg eltérően működik, előbb rendezd a felelősséget. A javítás után vizsgálj több oldaltípust, mert a kezdőlap, cikk és egyedi tartalomtípus más sablont használhat. A technikai ellenőrzés eredményét konkrét URL-lel és időponttal dokumentáld, hogy később megismételhető maradjon.

Változtatáskor legyen visszaállítható előző állapot. Egy téves tiltás gyorsan sok fontos oldalt érinthet, ezért nem jó emlékezetből javítgatni a szabályt. Őrizd meg a korábbi fájlt, a módosítás indokát és a tesztelt mintákat. Ha a beállítást több ember kezeli, jelölj gazdát a robotszabályzatnak. Így egy új marketingeszköz, AI-robot vagy oldaltípus megjelenésekor nem külön, egymásnak ellentmondó szabályok születnek, hanem a meglévő célokhoz illeszkedő, ellenőrzött döntés kerül a rendszerbe.

A végső kérdés minden URL-csoportnál ugyanazt a három területet járja körül, de eltérő választ enged: nyilvános-e az anyag, szeretnéd-e keresőben látni, és szükséges-e a feltérképezés korlátozása? A válaszokat külön oszlopban rögzítsd. Ez egyszerűbbé teszi a fejlesztői egyeztetést, mint az általános ne lássa a Google kérés. A pontos követelményből pontosabb technikai megoldás és értelmesebb átvételi próba készülhet. A végrehajtás előtt minden tiltási döntést az érintett tartalom felelősével is egyeztess, ne csak technikai nézőpontból vizsgáld.

Gyakori kérdések