Nadszedł czas na kontrolę strony internetowej, klienta lub możliwej propozycji, jedną z pierwszych rzeczy, które robisz, jest umieszczenie domeny w Screaming Frog, aby zobaczyć, jak to jest. Zas Zas ... idź i zobacz, że Screaming Frog nie przemierza sieci , zaczynasz sprawdzać konfigurację Screaming Frog, wszystko ok ... sprawdź ponownie komendę witryny: aby sprawdzić, czy sieć jest indeksowana. Wszystko OK, sprawdź Pamięć podręczna Google, aby sprawdzić, czy wszystko jest w porządku i kiedy to się ostatnio wydarzyło ... Nic, wszystko w porządku i wczoraj krok bota, sprawdź nagłówki z konsolą chrome daje ci 200 ... ..
... aż na końcu klikniesz adres URL i zobaczysz, że Screaming Frog zwraca cię w 502 !!
Nie panikuj, to korzystanie z zapory przez serwer , możesz z nimi rozmawiać, a oni dają Ci dostęp lub możesz użyć tego triku do indeksowania sieci.
Po prostu musisz zmienić agenta użytkownika, informując Cię, że jesteś Google Botem, pozwoli to na bezproblemowe przeszukiwanie sieci, ponieważ serwer nie ma go wyciąć.
Aby zmienić User-Agent w Screaming Frog i móc się czołgać, musisz przejść do konfiguracji górnego menu> agenta użytkownika i umieścić google bot , zobaczysz, jak to działa
Pobierz Screaming Frog: https://www.screamingfrog.co.uk/seo-spider/