Навигация по сайту

Популярные статьи

Увлекательный поход по Крыму

Мы предлагаем вам увлекательный поход по живописным местам горного Крыма, полюбоваться красотами каньонов и горных водопадов, послушать журчание горных рек и пение птиц, насладиться экзотическими пейзажами

Отдых в Карпатах

Активный отдых - это очень важная часть жизни абсолютно любого человека, который способен обогащать и закалять человека как напрямую физически, улучшая форму, так и духовно, психологически, морально,

Сексуальные фото девушек
Казалось бы, какая разница, как именно вы кушаете, главное, что при этом употреблять в пищу. Но последние исследования ученых говорят о том, что те, кто умеет красиво кушать, насыщаются примерно в полтора

Проект B2B
Сеть трубопровода, которая транспортирует воду под определенным давлением, состоит из соединений отдельных участков металлических труб. Водопровод на всем своем протяжении, особенно в местах соединения

MUTLU SFB 6ст-55
Бортовая сеть современного автомобиля, транспортного средства другого типа или спецтехники в состоянии работать автономно благодаря такому удивительному устройству, как аккумуляторная батарея. Естественно,

Необходима тематическая статья о спорте
заниматься спортом – это еще полдела. Нужно, чтобы это занятие приносило ощутимую и реальную пользу, повышая, как уровень физического здоровья, так и материального благосостояния, что не менее важно в

Купить искусственные цветы оптом
Природный камень – мрамор, гранит, травертин, кварцит – с давних времен широко используется в строительстве и отделке помещений. Также натуральный камень издавна применяют для создания самых разных предметов

Устного перевода
  Речевое общение может осуществляться и между коммуникантами, говорящими на разных языках. В этом случае будет иметь место межъязыковая (двуязычная) коммуникация. Поскольку Рецептор не в состоянии

Последовательный перевод
Используя Html редактор, хоть визуальный хоть нет, нам всегда необходимо находиться в сети. А использование другой специализированной программы позволит нам, когда к нам пришла муза, писать текст вдалеке

Что такое Robots.txt в WordPress и как его оптимизировать для SEO

  1. Что такое Robots.txt
  2. Как создать один для WordPress
  3. Что включить в свой Robots.txt
  4. Последние мысли

Поисковая оптимизация - это то, к чему каждый владелец сайта должен относиться очень серьезно в наше время. Из-за того, что поисковые системы постоянно совершенствуют свои стратегии сканирования и становятся все более и более изощренными, SEO часто может быть довольно сложной задачей. В то время как некоторые методы, такие как использование ключевых слов и SEO на странице, знакомы многим, другие методы более неясны, но не менее важны. Поэтому в этой статье мы решили поговорить о robots.txt - одном из самых спорных инструментов SEO.

Что такое Robots.txt

Проще говоря, robots.txt - это механизм связи между сайтом и поисковыми системами. В нем изложены правила индексации вашего веб-сайта и представлены их сканеру. Таким образом, в основном файл определяет, какие части вашего сайта Google разрешено индексировать, а какие следует избегать.

Важно помнить, что хотя большинство надежных поисковых систем распознают и соблюдают директивы в файле robots.txt, некоторые вредоносные или некачественные сканеры могут полностью их игнорировать.

Теперь, если вам интересно, является ли robots.txt абсолютной необходимостью, ответ - нет. Ваш сайт будет проиндексирован поисковыми системами независимо от того, есть он у вас или нет. Более того, WordPress имеет собственный виртуальный файл robots.txt. Тем не менее, настоятельно рекомендуется создать этот файл для вашего сайта и поместить его в корневую папку.

Как создать один для WordPress

Создание файла robots.txt на самом деле намного проще, чем можно подумать. Все, что вам нужно сделать, это создать текстовый файл, назвать его robots.txt и загрузить его в корневой каталог вашего сайта. Добавление содержимого в файл не так сложно в этом отношении. Есть только 6 возможных команд, которые вы можете включить в роботов. текст:

  • User-Agent - определяет поисковый движок;
  • Disallow - запрещает сканеру индексировать определенные файлы или каталоги на вашем сайте;
  • Разрешить - специально позволяет сканировать элемент на сайте;
  • Карта сайта - указывает сканеру на карту сайта;
  • Хост - обозначает предпочитаемый домен для сайта с более чем одним зеркалом;
  • Crawl-delay - указывает временной интервал между запросами поисковых систем на ваш сервер.

Что касается имен пользовательских агентов, полный список можно найти на этот сайт , Обратите внимание: если вы хотите установить одинаковые правила для всех поисковых систем, используйте звездочку (*) после команды user-agent.

Вот несколько других общих правил составления файла robots.txt. Вот несколько других общих правил составления файла robots

  1. Если вы хотите определить разные правила для конкретных ботов, сделайте это в начале файла.
  2. Используйте косую черту, чтобы разрешить или запретить все каталоги.
  3. Определите каждую сущность, которую вы хотите разрешить / запретить, используя отдельную командную строку.
  4. Не используйте комментарии или пробелы.
  5. Помните, что пути к каталогам чувствительны к регистру.

Учитывая все вышесказанное, пример файла robots.txt может выглядеть примерно так:

Пользователь-агент: * Разрешить: / wp-content / uploads / Disallow: / wp-content / plugins / Карта сайта: http://mysite.com/post-sitemap.xml Карта сайта: http://mysite.com/page- sitemap.xml

Что включить в свой Robots.txt

Как уже упоминалось в начале этой статьи, robots.txt вызвал много споров в Интернете. Различные источники предоставляют различные, часто противоречащие друг другу советы о лучших вариантах использования этого инструмента SEO.

Одна из существующих тактик составления файла robots.txt подчеркивает необходимость запретить каталоги плагинов readme.html и WordPress и страницы входа в систему. Этот шаг рекомендуется предпринять, чтобы повысить безопасность вашего сайта и защитить его от массовых атак. В соответствии с этой стратегией также рекомендуется добавить карту сайта в ваш файл robots.txt. Одна из существующих тактик составления файла robots

Другой подход довольно минималистичен. Он основан на том факте, что поисковые системы и Google, в частности, воспринимают сайт в целом, и из-за этого запрещение некоторых объектов может привести к серьезным ошибкам сканирования и, таким образом, к снижению рейтинга в поисковых системах. Этот метод также не разрешает запрещать страницу входа в WordPress и каталог администратора, потому что у них уже есть тег noindex, добавленный WordPress. Что касается файлов сайтов, рекомендуется добавить их вручную в Инструменты Google для веб-мастеров.

Выбор стратегии зависит от вас, но в любом случае убедитесь, что нет ошибок сканирования и правильно ли Google видит ваш сайт. Для этого перейдите в Инструменты Google для веб-мастеров и выберите «Получить как Google», а затем «Получить и отобразить». Если возникают ошибки, попробуйте изменить инструкции в файле robots.txt.

Последние мысли

Как видите, robots.txt - одна из довольно сложных, но важных частей поисковой оптимизации сайта. При правильном использовании он может удерживать поисковые системы от контента, который вы не хотите видеть. Тем не менее, неправильное использование этого инструмента может принести много вреда и серьезно повредить рейтинг в поисковых системах.

Если в прошлом было удобно запретить доступ к поисковикам для целого ряда объектов, то в настоящее время шаблон больше подходит к минималистическому подходу к созданию файла robots.txt.

В общем, вы должны помнить, что нет универсальных правил о том, как составить идеальный файл robots В общем, вы должны помнить, что нет универсальных правил о том, как составить идеальный файл robots.txt, и его содержание должно основываться на типе вашего сайта.

PS Ищете способ перейти на WordPress? Пойти с CMS2CMS, служба автоматической миграции , Этот инструмент поможет вам перенести весь контент быстро, легко и безопасно.

Следующие две вкладки изменяют содержимое ниже. Следующие две вкладки изменяют содержимое ниже

Музыка / английский / Life lover | Украинский студент | MagneticOne Интернет-маркетолог |