Поисковая оптимизация - это то, к чему каждый владелец сайта должен относиться очень серьезно в наше время. Из-за того, что поисковые системы постоянно совершенствуют свои стратегии сканирования и становятся все более и более изощренными, SEO часто может быть довольно сложной задачей. В то время как некоторые методы, такие как использование ключевых слов и SEO на странице, знакомы многим, другие методы более неясны, но не менее важны. Поэтому в этой статье мы решили поговорить о robots.txt - одном из самых спорных инструментов SEO.
Что такое Robots.txt
Проще говоря, robots.txt - это механизм связи между сайтом и поисковыми системами. В нем изложены правила индексации вашего веб-сайта и представлены их сканеру. Таким образом, в основном файл определяет, какие части вашего сайта Google разрешено индексировать, а какие следует избегать.
Важно помнить, что хотя большинство надежных поисковых систем распознают и соблюдают директивы в файле robots.txt, некоторые вредоносные или некачественные сканеры могут полностью их игнорировать.
Теперь, если вам интересно, является ли robots.txt абсолютной необходимостью, ответ - нет. Ваш сайт будет проиндексирован поисковыми системами независимо от того, есть он у вас или нет. Более того, WordPress имеет собственный виртуальный файл robots.txt. Тем не менее, настоятельно рекомендуется создать этот файл для вашего сайта и поместить его в корневую папку.
Как создать один для WordPress
Создание файла robots.txt на самом деле намного проще, чем можно подумать. Все, что вам нужно сделать, это создать текстовый файл, назвать его robots.txt и загрузить его в корневой каталог вашего сайта. Добавление содержимого в файл не так сложно в этом отношении. Есть только 6 возможных команд, которые вы можете включить в роботов. текст:
- User-Agent - определяет поисковый движок;
- Disallow - запрещает сканеру индексировать определенные файлы или каталоги на вашем сайте;
- Разрешить - специально позволяет сканировать элемент на сайте;
- Карта сайта - указывает сканеру на карту сайта;
- Хост - обозначает предпочитаемый домен для сайта с более чем одним зеркалом;
- Crawl-delay - указывает временной интервал между запросами поисковых систем на ваш сервер.
Что касается имен пользовательских агентов, полный список можно найти на этот сайт , Обратите внимание: если вы хотите установить одинаковые правила для всех поисковых систем, используйте звездочку (*) после команды user-agent.
Вот несколько других общих правил составления файла robots.txt. 
- Если вы хотите определить разные правила для конкретных ботов, сделайте это в начале файла.
- Используйте косую черту, чтобы разрешить или запретить все каталоги.
- Определите каждую сущность, которую вы хотите разрешить / запретить, используя отдельную командную строку.
- Не используйте комментарии или пробелы.
- Помните, что пути к каталогам чувствительны к регистру.
Учитывая все вышесказанное, пример файла robots.txt может выглядеть примерно так:
Пользователь-агент: * Разрешить: / wp-content / uploads / Disallow: / wp-content / plugins / Карта сайта: http://mysite.com/post-sitemap.xml Карта сайта: http://mysite.com/page- sitemap.xml
Что включить в свой Robots.txt
Как уже упоминалось в начале этой статьи, robots.txt вызвал много споров в Интернете. Различные источники предоставляют различные, часто противоречащие друг другу советы о лучших вариантах использования этого инструмента SEO.
Одна из существующих тактик составления файла robots.txt подчеркивает необходимость запретить каталоги плагинов readme.html и WordPress и страницы входа в систему. Этот шаг рекомендуется предпринять, чтобы повысить безопасность вашего сайта и защитить его от массовых атак. В соответствии с этой стратегией также рекомендуется добавить карту сайта в ваш файл robots.txt. 
Другой подход довольно минималистичен. Он основан на том факте, что поисковые системы и Google, в частности, воспринимают сайт в целом, и из-за этого запрещение некоторых объектов может привести к серьезным ошибкам сканирования и, таким образом, к снижению рейтинга в поисковых системах. Этот метод также не разрешает запрещать страницу входа в WordPress и каталог администратора, потому что у них уже есть тег noindex, добавленный WordPress. Что касается файлов сайтов, рекомендуется добавить их вручную в Инструменты Google для веб-мастеров.
Выбор стратегии зависит от вас, но в любом случае убедитесь, что нет ошибок сканирования и правильно ли Google видит ваш сайт. Для этого перейдите в Инструменты Google для веб-мастеров и выберите «Получить как Google», а затем «Получить и отобразить». Если возникают ошибки, попробуйте изменить инструкции в файле robots.txt.
Последние мысли
Как видите, robots.txt - одна из довольно сложных, но важных частей поисковой оптимизации сайта. При правильном использовании он может удерживать поисковые системы от контента, который вы не хотите видеть. Тем не менее, неправильное использование этого инструмента может принести много вреда и серьезно повредить рейтинг в поисковых системах.
Если в прошлом было удобно запретить доступ к поисковикам для целого ряда объектов, то в настоящее время шаблон больше подходит к минималистическому подходу к созданию файла robots.txt.
В общем, вы должны помнить, что нет универсальных правил о том, как составить идеальный файл robots.txt, и его содержание должно основываться на типе вашего сайта.
PS Ищете способ перейти на WordPress? Пойти с CMS2CMS, служба автоматической миграции , Этот инструмент поможет вам перенести весь контент быстро, легко и безопасно.
Следующие две вкладки изменяют содержимое ниже.
Музыка / английский / Life lover | Украинский студент | MagneticOne Интернет-маркетолог |
PS Ищете способ перейти на WordPress?