Не все подстраницы или все каталоги на вашем веб-сайте достаточно важны, чтобы их безошибочно сканировали обычные поисковые системы. С помощью файла robots.txt управляйте индексацией своего сайта и определяйте, какие подстраницы WordPress должен учитывать сканер, а какие нет. Таким образом, вы позиционируете свой сайт значительно лучше в онлайн-поиске . Вот что делает файл robots.txt в WordPress и как вы можете оптимизировать его самостоятельно.
Что такое файл robots.txt для сайта в CMS WordPress?
Так называемые краулеры искать в Интернете веб-страницы 24 часа в сутки. Эти боты отправляются соответствующими поисковыми системами и обнаруживают как можно больше страниц и подстраниц (индексируют), чтобы сделать их доступными для поиска. Чтобы поисковые роботы правильно читали ваш сайт, вам нужно направлять их. Это поможет вам избежать индексации контента, который не имеет отношения к поисковым системам, и гарантирует, что сканер читает только тот контент, который он должен читать.
Вы можете использовать robots.txt для управления этим аспектом. В WordPress и других CMS этот файл используется для определения какие области вашего сайта должны и не должны обнаруживаться поисковыми роботами . Через robots.txt вы можете исключать или разрешать ботов, а также точно различать, какие поисковые системы находят, какие записи а потом воспроизвести их в поиске. Поскольку каждый домен имеет ограниченный краулинговый бюджет, еще более важно увеличить количество самых популярных страниц и удалить незначительные подстраницы из объема поиска.
Зачем вам нужен файл robots.txt в WordPress?
Использование robots.txt для точного указания в WordPress того, какой контент будет и не будет индексироваться, дает множество преимуществ. В то время как, например, ваша домашняя страница должна хорошо ранжироваться во всех подходящих поисковых запросах, все меняется с отказом от ответственности в Интернете.
Комментарии или архивы также не дают никакой дополнительной ценности в поиске и могут, наоборот, даже представлять недостаток, например, если поисковые системы распознают их как дублированный контент и оценят негативно. С файлом robots.txt в WordPress вы можете наилучшим образом избежать таких случаев и направить различные поисковые роботы, чтобы сосредоточиться на области вашего веб-сайта, которые вы действительно хотите, чтобы они нашли .
Автоматический файл WordPress robots.txt
Сначала WordPress сам создает файл robots.txt и, таким образом, выполняет некоторую базовую работу. Однако он не очень всеобъемлющий и поэтому его следует рассматривать в первую очередь как отправную точку. Это выглядит так:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/«пользовательский агент ” в первой строке относится к трекерам. «*» означает, что всем поисковым системам разрешено отправлять своих ботов на вашу страницу. Как правило, именно с этой ситуации лучше всего начинать, так как так будет легче найти свой сайт.
«Запретить Команда блокирует следующие каталоги для сканеров, в данном случае это каталог администратора и все файлы WordPress. robots.txt блокирует их для поисковых систем, так как посетители ничего не пропустили на соответствующих страницах. Чтобы обеспечить доступ к ним только вам, защитите эти области надежным паролем.
Что должен содержать файл robots.txt WordPress?
Очевидно, что поисковые системы, такие как Google, должны без труда найти вашу страницу. Однако более вредные или сомнительные сервисы, такие как DuggMirror, лучше не находить. Чтобы исключить эти сервисы, вы можете использовать WordPress robots.txt. Кроме того, вы должны исключить из индексации темы, ваше юридическое уведомление и другие страницы, которые мало или совсем не актуальны . Плагины также не следует индексировать не только потому, что они не имеют отношения к широкой публике, но и по соображениям безопасности. Если у плагина есть проблема с безопасностью, злоумышленники могут таким образом найти и повредить ваш сайт.
В большинстве случаев две упомянутые команды выше будет достаточно, чтобы эффективно использовать robots.txt в WordPress: «User-agent» определяет, какой боты звонить . Таким образом, вы можете установить исключения для определенных поисковых систем или установить основные правила. «Запретить» запрещает поисковым роботам доступ соответствующую страницу или подстраницу. Третья команда, «Разрешить», в большинстве случаев не актуальна, так как по умолчанию доступ разрешен. Эта команда нужна вам только в том случае, если вы хотите заблокировать всю веб-страницу, но разрешить некоторые из его подстраниц .
Изменить robots.txt в WordPress вручную
Для индивидуальных настроек рекомендуется самостоятельно расширить файл WordPress robots.txt. Для этого достаточно выполнить несколько простых шагов.
Шаг 1. Сначала создайте пустой файл под названием «robots.txt» в любом текстовом редакторе.
Шаг 2. Затем загрузите этот файл в корневой каталог ваш домен.
Шаг 3. Теперь вы можете редактировать файл через SFTP или загрузить новый текстовый файл .
С помощью описанных выше команд вы теперь можете определить, какие правила и исключения будут применяться на вашем веб-сайте. Чтобы заблокировать доступ к определенной папке:
Чтобы запретить доступ к вашему сайту определенному боту:
Плагины для создания файла robots.txt в WordPress
Вы также можете создавать и редактировать файл robots.txt в WordPress с помощью WordPress SEO плагин . Делается это удобно и надежно с панели управления, а потому может быть еще проще. Yoast SEO — один из наиболее часто используемых плагинов для этой цели.
Шаг 1. Сначала вам нужно установить и активировать плагин.
Шаг 2. Затем разрешите плагину сделать расширенные изменения . Для этого перейдите в раздел «SEO» > «Панель инструментов» > «Функции» и нажмите кнопку «Включено» в разделе «Страницы дополнительных настроек».
Шаг 3. После этой активации внесите изменения в панели управления в «SEO» > «Инструменты» > «Редактор файлов». Там можно прямо создавать и редактировать новый файл robots.txt в WordPress. Изменения будут применены напрямую.
Как можно протестировать изменения?
Теперь вы настроили свой сайт, установили правила и, по крайней мере теоретически, заблокировали трекеры и сделали невидимыми подстраницы. Но как узнать, действительно ли все изменения были внесены? Консоль поиска Google это ответ. Там вы найдете «robots tester.txt» в разделе «Отслеживание» с левой стороны. Там вы вводите свои страницы и подстраницы, а затем видите, можно ли их найти или заблокировать. Зеленый «Допустимый» внизу справа означает, что поисковые роботы найдут и примут во внимание страницу, красный «Заблокировано» означает, что страница не будет проиндексирована.
Вкратце: robots.txt оптимизирует и защищает ваш сайт
Файл robots.txt представляет собой простой и эффективный метод для WordPress, чтобы определить, какие области вашего сайта должны быть доступны для поиска и кем. Если вы уже используете SEO-плагин, такой как Yoast, проще всего внести изменения с помощью этого плагина. В противном случае файл также можно без проблем создать и отредактировать вручную.