A hipotézis legyen szűkebb, mint a fejlesztési ötlet

A „javítjuk a kategóriaoldalakat” projektcél, de kísérleti hipotézisnek túl tág. Nem mondja meg, mit változtatunk, kiknél várunk hatást, és milyen mutató alapján döntünk. Pontosabb kérdés: ha az összehasonlítható kategóriaoldalakon a gyártói rövidítés mellett közérthető termékmegnevezést használunk a címben, javul-e a releváns, nem márkás keresésekből érkező kattintások száma a hasonló, változatlan oldalakhoz képest? Még ez is sok feltételezést tartalmaz, de már tesztelhetőbb.

A mechanizmust is írjuk le. A módosítás érthetőbbé teheti a találatot azoknak, akik a köznyelvi terméknevet használják. Ha csak megjelenés nő, miközben a kattintás és a releváns érdeklődés nem, az nem feltétlenül támasztja alá az eredeti üzleti elképzelést. Ha a cím pontatlan ígéretet ad, a több kattintás kifejezetten rossz eredmény lehet. A kísérlet így nem pusztán a nagyobb számot keresi, hanem egy értelmezett hatásláncot.

Az előfeltevéseket külön rögzítsük. Például elég hasonló a termékkínálat, nem változik közben az árstratégia, és a mért oldalak hozzáférhetők a kereső számára. Ezek közül nem mind kontrollálható, de figyelhetők. A kísérleti jegyzőkönyvben az előfeltevés sérülése ne apró megjegyzés legyen a végén: lehet, hogy emiatt az eredményből más következtetést kell levonni. A fegyelmezett bizonytalanságkezelés a jó vizsgálat része.

Mihez hasonlítjuk a kezelt oldalakat?

A legegyszerűbb előtte–utána összevetés minden időbeli változást a beavatkozás nyakába varrhat. Ha egy termékkategória iránt tavasszal természetesen nő az érdeklődés, a márciusi javulás nem feltétlenül a februári szövegfrissítés eredménye. A tavalyi év azonos időszaka adhat támpontot, de közben változhatott a kínálat és a piac. Jó kontroll nélkül a következtetés erejét korlátozni kell, nem szebb grafikonnal pótolni a hiányt.

Oldalcsoportos SEO-tesztnél hasonló oldalakból képezhetünk kezelt és kontrollcsoportot. Fontos, hogy a kontroll ne legyen eleve teljesen más keresleti pályán. Egy magas árú ipari gép és egy fogyóeszköz kategóriája hasonló sablon ellenére is eltérően viselkedhet. A korábbi forgalmi mintázat, oldaltípus, termékszám és szezonális jelleg együtt segít a párosításban. A módszert még a változtatás előtt válasszuk ki, ne az eredmény ismeretében keressünk hozzá kedvező összehasonlítást.

A véletlen hozzárendelés csökkentheti bizonyos torzítások esélyét, de kis mintánál nem garantál tökéletes egyensúlyt. Ellenőrizzük a csoportok kiinduló állapotát. Ne cseréljünk utólag oldalt pusztán azért, mert kellemetlen irányba mozdult. Ha egy termékcsalád váratlanul kifogy, az előre rögzített kizárási vagy érzékenységi szabály szerint kezeljük. A kontrollcsoport értelme éppen az, hogy a nem tetsző valóságot ne lehessen észrevétlenül kiválogatni.

A látogató A/B-tesztje és az URL-csoportos SEO-teszt más

Egy klasszikus felületi A/B-teszt ugyanazon oldal különböző változatait látogatók között osztja szét. Jól vizsgálható vele például egy gomb megfogalmazása vagy egy űrlap elrendezése. A keresési rangsorolásra gyakorolt hatást ebből nem lehet egyszerűen ugyanígy mérni, mert a kereső a saját feltérképezése során lát valamilyen változatot. Az egység megválasztása döntő: látogatót, URL-t, oldalcsoportot vagy időszakot hasonlítunk össze?

Az URL-csoportos vizsgálatban a kezelt oldalak tartósan megkapják a módosítást, a kontrolloldalak nem. Itt a forgalom nem független felhasználói dobásokból áll: az azonos kategóriák egymásra hatnak, a kereslet közös, és a kereső feldolgozása késik. A statisztikai módszernek ezt figyelembe kell vennie. Egy konverziós A/B-kalkulátorba bemásolt organikus kattintásszám nem automatikusan érvényes SEO-kísérleti elemzés.

A Google webhelytesztelési útmutatója a keresőre gyakorolt technikai mellékhatások elkerüléséről ad tanácsot, például a külön URL-es változatok és az ideiglenes átirányítások kezeléséről. Ez nem ígéret arra, hogy bármely kísérlet okságilag megfelelő. A keresőbarát megvalósítás és az érvényes kísérleti terv két külön minőségi kérdés. Mindkettőt ellenőrizni kell, és egyikre sem elegendő a másik sikeres teljesítése.

Válassz elsődleges mutatót és védőkorlátot

Az elsődleges mutató feleljen meg a hipotézisnek. Ha a találat érthetősége a kérdés, a releváns kereséseken elért kattintás és átkattintás lehet fontos. Ha a termékadatok feldolgozhatóságát javítjuk, előbb a technikai és megjelenési állapotot is ellenőrizni kell. A teljes organikus munkamenetszám kényelmes, de sok idegen változást összekeverhet. A mutató definícióját, forrását és szűréseit előre rögzítsük.

A védőkorlát azt jelzi, milyen mellékhatás mellett nem tekintjük sikeresnek a változtatást. Ilyen lehet az űrlaphibák növekedése, félrevezető termékígéret, romló hozzáférhetőség vagy túl nagy oldalbetöltési költség. Ezeket nem feltétlenül egyetlen összpontszámmá kell gyúrni. A szakmai pontatlanság például akkor is kizáró ok lehet, ha több kattintás érkezik. Az üzleti cél és a felhasználói érdek együtt határozza meg az elfogadható eredményt.

A másodlagos mutatók segíthetnek a magyarázatban, de ne váljanak utólag korlátlan sikerkiválasztássá. Ha húsz jelből egy kedvező irányba mozdult, az véletlenül is megtörténhet. A jelentésben különítsük el az előre kijelölt döntési mutatót és a feltáró megfigyeléseket. Az utóbbiak új hipotézist adhatnak a következő vizsgálathoz, de nem írhatják át észrevétlenül az eredeti kérdést.

Válassz elsődleges mutatót és védőkorlátot
TervrészPontos megfogalmazás példájaGyenge megfogalmazás
Elsődleges jelAz érintett URL-csoport releváns organikus kattintásaiJobb SEO
MechanizmusA cím világosabban jelöli a terméktípustA kereső szereti
VédőkorlátNem növekedhet a félreértelmezett ajánlatok számaSemmi se romoljon
ÖsszehasonlításElőre kiválasztott, hasonló kontrolloldalakTavaly vagy valamelyik jó hónap
DöntésMeghatározott bizonyítékszint és üzleti minimum alapjánHa zöld a grafikon

A mérési idő nem univerzális naptári recept

A szükséges idő függ a forgalomtól, a kereslet ingadozásától, a várt hatás méretétől és attól, mikor dolgozza fel a kereső a változtatást. Nem létezik minden SEO-tesztre megfelelő kéthetes szabály. Egy ritkán feltérképezett, kis forgalmú oldalcsoportban ennyi idő alatt lehet, hogy alig keletkezik új információ. Egy nagy forgalmú, erősen szezonális csoportban sok adat is félrevezető lehet, ha a szezont rosszul kezeljük.

Rögzítsük a technikai bevezetés, az első igazolt feldolgozás és az értékelési időszak külön időpontját. A módosított HTML élesítése nem azonos azzal, hogy a kereső minden oldalt újra megvizsgált. A Search Console és saját naplók adhatnak részleges jelzést, de a teljes belső feldolgozás nem látható. A jegyzőkönyvben ezért ne állítsunk másodpercre pontos hatáskezdést olyan rendszerre, amelynek feldolgozási üteme nem teljesen megfigyelhető.

A túl korai leállítás torzíthat. Ha naponta nézzük az eredményt és az első kedvező kilengésnél győztest hirdetünk, a véletlen zajt könnyen tartós hatásnak nevezzük. A megfigyelési és leállítási szabályt előre kell tisztázni, a választott statisztikai módszerhez illesztve. Kritikus hiba esetére természetesen legyen azonnali megszakítás: adatvesztés vagy félrevezető árazás miatt nem várunk a tervezett vizsgálati végpontig.

Naplózd, mi más változott közben

A változási naplóban szerepeljen kiadás, akció, árváltozás, készlethiány, nagy kampány és mérési beállítás módosítása. Ezek nem mind teszik használhatatlanná a kísérletet, de magyarázati alternatívák. Ha a kezelt csoport éppen nagy kedvezményt kapott, a teljes konverziós növekedést nem tulajdoníthatjuk a címmódosításnak. Az előre egyeztetett szervezeti fegyelem gyakran fontosabb, mint egy bonyolultabb utólagos modell.

Külső változások is lehetnek. A kereső rangsorolási frissítése, a találati elemek átrendeződése vagy egy jelentős versenytárs kiesése nem a mi beavatkozásunk. A Google hivatalos rangsorolási frissítési naplója segíthet az időbeli kontextusban, de egy azonos dátum önmagában nem bizonyít okot. A naplóban rögzített egybeesés vizsgálati jel, nem kényelmes felmentés minden kedvezőtlen eredményre.

A mérési változást különösen komolyan vegyük. Ha közben hozzájáruláskezelés, eseménydefiníció vagy analitikai eszköz változott, a munkamenetek folytonossága megszakadhat. A Search Console kattintásai és a webanalitikai látogatások eleve más fogalmakat mérnek. Egyik növekedését ne magyarázzuk automatikusan a másik hiányával. A jelentésben az adatforrások közötti eltérést is mutassuk, és jelezzük, melyikből mire következtetünk.

A bizonytalanságot üzleti nyelvre is fordítsd

A pontbecslés mellé szükség van annak bizonytalanságára. Egy becsült javulás értelmezése teljesen más, ha az adatok jelentős visszaeséssel és nagy növekedéssel is összeegyeztethetők, mint ha szűk tartomány marad. A riportnak nem kell minden vezetőt statisztikussá képeznie, de világosan meg kell mondania, mennyire határozott a következtetés. A „nem sikerült megbízható különbséget kimutatni” nem ugyanaz, mint a bizonyított nulla hatás.

Az üzleti minimumot is külön határozzuk meg. Egy kicsi, de valós előny nem feltétlenül fedezi a bevezetés és fenntartás költségét. Máskor egy olcsó, kockázatszegény, tartalmilag amúgy is indokolt javítást akkor is megéri megtartani, ha az organikus hatás nem mérhető pontosan. Ilyenkor mondjuk ki: a változtatást használhatósági vagy szakmai okból tartjuk meg, és nem bizonyított SEO-növekedésként kommunikáljuk.

A statisztikai és üzleti döntés eltérhet anélkül, hogy bármelyik hibás lenne. A felelős döntéshozó mérlegelheti a megvalósítás költségét, a visszafordíthatóságot és a hiba következményét. Fontos azonban, hogy az indokok látszódjanak. A „nyertes” címke helyett lehet eredményállapot: bevezetjük, tovább vizsgáljuk, módosítva újrateszteljük vagy elvetjük. Minden állapothoz legyen következő lépés, ne csak piros-zöld jelzés.

Amikor az oldalak egymásra hatnak

Egy belső linkelési tesztben a kontrolloldal is kaphat több hivatkozást a kezelt oldalakról. Ezzel megszűnik az egyszerű feltételezés, hogy csak az egyik csoport kapott beavatkozást. Hasonló hatás lehet közös menü, kategóriahierarchia vagy egész webhelyre betöltött sablon esetén. A kísérleti egységet a tényleges változás hatóköréhez kell választani. Ha az egész webhelyet egyszerre módosítjuk, URL-szintű tiszta kontrollról ne beszéljünk.

A keresési találatokon belül is lehet helyettesítés. Az egyik saját oldal több kattintást kap, mert a másik saját oldal kevesebbet. Oldalszinten sikernek látszik, miközben a webhely összes releváns forgalma nem nőtt. Ezért nézzük a teljes témacsoportot is. A helyettesítés lehet előnyös, ha a látogatók jobb céloldalra érkeznek, de ezt a céloldal minőségével és az összesített eredménnyel kell megmutatni, nem a győztes URL grafikonjával.

A keresőkifejezések változása újabb árnyalatot ad. Egy módosítás több általános, kevésbé releváns megjelenést hozhat, miközben a szűk szakmai keresések teljesítménye stagnál. Az átlagos átkattintás ilyenkor romolhat úgy is, hogy a releváns kattintás nő. Előre definiált témacsoportokkal és a márkás keresések külön kezelésével értelmezhetőbb eredmény készül. Az elemzés célja nem egy kedvező átlag kiválasztása, hanem a forgalom összetételének megértése.

Kísérleti jegyzőkönyv egy képzeletbeli szolgáltatónál

Egy ipari karbantartó vállalkozás több hasonló szolgáltatásoldallal rendelkezik. A hipotézis szerint az oldalak elején elhelyezett, pontos szolgáltatási határt leíró összefoglaló csökkenti a téves ajánlatkéréseket. Ez elsősorban nem rangsorolási kérdés. Az elsődleges jel az érdemben releváns érdeklődések aránya lehet, amelynek minősítését előre rögzített értékesítési szabály alapján végzik. A teljes érdeklődőszám védőkorlátként is fontos, nehogy mindenkit elriasszunk.

A csoportok kiválasztásakor a hasonló szolgáltatásokat és korábbi érdeklődési mintákat veszik figyelembe. Nem módosítják közben az ajánlatkérő űrlapot, mert az újabb lehetséges okot adna. A szakmai vezető ellenőrzi az összefoglalók pontosságát. A kiadás után rögzítik, mely oldalon mely napon jelent meg a változás, és figyelik, hogy mobilon sem takarja-e el a továbblépést. Ez hipotetikus terv, nem ügyféladatokra épülő eredménybeszámoló.

A végén elképzelhető, hogy a relevancia javulása ígéretes, de az érdeklődések száma túl kicsi határozott következtetéshez. A helyes döntés lehet hosszabb megfigyelés vagy a szöveg megtartása a szolgáltatási pontosság miatt. Nem helyes egyetlen sikeres ajánlatkérést többszáz százalékos SEO-hatásként bemutatni. A jegyzőkönyv értéke az, hogy a következő döntés több információra épül, nem az, hogy mindenképpen diadaljelentés születik.

Mikor ne kísérletezz?

Nem kell kísérlettel igazolni egy bizonyítottan hibás ár, törött kapcsolatfelvétel vagy veszélyes hozzáférési hiba javítását. Ezeknél a helyes működés szakmai követelmény. A javítás hatását mérhetjük, de az érintettek egy részét nem indokolt tudatosan hibás állapotban hagyni pusztán a mérési tisztaság kedvéért. A kísérlet ott hasznos, ahol ésszerűen több lehetséges megoldás között döntünk, és a kockázat kezelhető.

Kis forgalomnál a kvalitatív vizsgálat többet adhat. Néhány jól kiválasztott feladatteszt feltárhatja, hogy a látogatók nem értik a termék kompatibilitását. A szakmai szöveg ellenőrzése vagy egy ügyfélszolgálati témalista közvetlenebb választ adhat, mint hónapokig várni egy zajos statisztikára. Ezt ne tekintsük alacsonyabb rendű munkának: más kérdésre más bizonyíték alkalmas. Az oksági állítás erejét viszont a módszerhez kell igazítani.

Ha nincs mód a változások elkülönítésére, készíthetünk megfigyeléses értékelést. Ebben világosan leírjuk a beavatkozásokat, a teljesítmény alakulását és az alternatív magyarázatokat. A nyelv is legyen ennek megfelelő: „a változtatásokat követően nőtt”, nem „a változtatás bizonyítottan okozta”. A pontosság nem gyengíti a szakmai munkát. Segít elkerülni, hogy egy bizonytalan következtetésből később rossz, nagyobb léptékű beruházás legyen.

A lezárt tesztből maradjon visszakereshető tudás

A tudástárba kerüljön a kérdés, a hipotézis, a csoportképzés, a változtatás pontos leírása, az adatforrás, a módszer és a döntés. Mellé írjuk oda a korlátokat és azokat a körülményeket, amelyek között az eredményt más oldalakra nem vinnénk át. Egy kategóriacímen mért eredmény nem automatikusan általánosítható cikkekre vagy más nyelvre. A tanulságot a környezettel együtt kell megőrizni.

A sikertelen vagy bizonytalan vizsgálatot is tároljuk. Ha csak a nyertes tesztek maradnak meg, a csapat hamis képet kap arról, mely módszerek működnek. A később érkező munkatárs megismételheti ugyanazt az alacsony információértékű próbát. Egy rövid, tisztességesen megírt „nem tudtuk eldönteni, mert a kontrollt érintette egy akció” feljegyzés valódi szervezeti tudás. Megmutatja, mit kell legközelebb másképp szervezni.

Gyakori kérdések

Bizonyítja a grafikon törése, hogy a kiadás hatott?

Nem önmagában. A kiadás időpontjával egybeeső változás lehet szezonális, technikai vagy piaci eredetű is. A kontroll, a változási napló és az előzetes hipotézis erősíti az értelmezést, de a következtetés bizonytalanságát ezek mellett is jelezni kell.

Hány oldal kell egy SEO-kísérlethez?

Nincs minden webhelyre érvényes darabszám. A forgalom, az oldalak hasonlósága, a zaj, a várt hatás és a választott módszer együtt számít. Kevés oldalnál más bizonyítékgyűjtési megközelítés lehet célszerűbb; a nagy elemszám sem javít ki rosszul megválasztott kontrollt.

Megtartható egy változtatás, ha nincs kimutatott SEO-előnye?

Igen, ha más, világosan megnevezett okból indokolt, például pontosabb tájékoztatást vagy jobb hozzáférést ad. A döntést így kell dokumentálni. A használhatósági indokot ne alakítsuk át utólag bizonyított keresési növekedéssé.

Források és további olvasnivaló

A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.

Van egy hasonló feladatod?

Beszéljük át, hogyan ültethető át a gyakorlatba.

Projektet indítok

Kapcsolódó szolgáltatás: Webanalitika és mérés ↗