Настав час перевірити веб-сайт, або клієнта, або можливу пропозицію, одна з перших речей, яку ви робите, - помістити домен у Screaming Frog, щоб побачити, як він є. Zas Zas ... ви йдете, і ви виявите, що Screaming Frog не повзає в Інтернеті , ви починаєте перевіряти конфігурацію Screaming Frog, все ок ... перевірте команду сайту ще раз: щоб побачити, чи індексується мережа .. Все ОК, перевірте Google кеш перевіряє, що все нормально і в останній раз це сталося ... Нічого, гаразд і бот крок вчора, перевірте заголовки з chrome console дає вам 200 ...
... поки в кінці не натиснути на url, і ви побачите, що Screaming Frog повертає вас у 502 !!
Не панікуйте, це використання сервера брандмауера , ви можете поговорити з ними, і вони дають вам доступ або ви можете використовувати цей трюк для сканування Інтернету.
Вам просто потрібно змінити агент користувача, сказавши, що ви Google Bot, він дозволить вам сканувати веб без проблем, оскільки сервер не має його скоротити.
Щоб змінити User-Agent в Screaming Frog, і щоб мати змогу сканувати, необхідно перейти до конфігурації головного меню> user agent і поставити google bot , ви побачите, як це працює
Завантажити кричачу жабу: https://www.screamingfrog.co.uk/seo-spider/