Google papasakojo apie du veiksnius, kurie turi įtakos GoogleBot svetainės skenavimui

Konferencijoje SMX East 2014 Google analitikas Gary Illyes papasakojo apie du techninius svetainės veiksnius kurie yra Google skanavimo signalas. Su jų pagalba nustatoma kada robotas GoogleBot turėtų sulėtinti arba sustabdyti svetainės skenavimą.

Šie signalai yra:

Sujungimo laikas (Connect Time)

Google žiūri į sujungimo su serveriu arba tinklalapiu trukmę. Jei jis gauna jį ilgesnį rinksis sulėtinti arba sustabdyti puslapių nuskaitymą. Norėdamas sukelti serverio darbo sustabdymo Google naudoja prisijungimo laiką kaip skenavimo faktorių.

HTTP būklės kodai (HTTP Status Codes)

Google taip pat turės sustabdyti arba sulėtinti nuskaitymą, jei jis gauna serverio statuso kodus 5xx diapazone. 5xx kodai skirti naudoti tais atvejais kada operacijos nesėkmingos dėl serverio kaltės. Visą kodų sąrašą galima rasti Wikipedijoje. Pagal Illesa kai Google mato šiuos kodus jis atsitraukia kad ne sukeltų dar daugiau problemų su serveriu.

Abiem atvejais GoogleBot grįš prie šios interneto svetainės vėliau, bet vėl atsitrauks, jei jis mato šiuos du signalus, kad nebūtų sukelta dar daugiau problemų vartotojams, bandantiems patekti į svetainę.