Прыйшоў час правяраць сайт, альбо кліент, альбо магчымае прапанову. Адным з першых рэчаў, якія вы робіце, з'яўляецца ўвядзенне дамена ў Screaming Frog, каб убачыць, як ён ёсць. Zas Zas ... Вы ідзяце, і вы выявіце, што Screaming Frog не скануе Інтэрнэт , вы пачынаеце правяраць канфігурацыю Screaming Frog, усё ў парадку ... Праверце каманду сайта яшчэ раз: каб убачыць, калі Індэкс індэксаваны. Усё ў парадку, праверце Кэш Google правярае, што ўсё нармальна і ў апошні раз гэта адбылося ... Нічога, добра, і бот учора, праверце загалоўкі з храмавай кансолью, дае 200 ... ..
... пакуль у канцы не націснеце на URL і ўбачыце, што Screaming Frog вяртае вас у 502 !!
Не панікуйце, гэта сервер, які выкарыстоўвае брандмаўэр , вы можаце размаўляць з імі, і яны даюць вам доступ, альбо вы можаце выкарыстоўваць гэты трук для сканавання Інтэрнэту.
Вам проста трэба змяніць карыстацкі агент, сказаўшы вам, што вы з'яўляецеся Google Bot, гэта дазволіць вам без праблем абыходзіцца ў Інтэрнэце, бо сервер не мае яго рэзкі.
Каб змяніць User-Agent у Screaming Frog і мець магчымасць сканаваць, неабходна перайсці ў канфігурацыю галоўнага меню> User agent і змясціць Google Bot, вы ўбачыце, як гэта працуе.
Спампаваць Screaming Frog: https://www.screamingfrog.co.uk/seo-spider/