Доброго времени суток дорогие друзья, решил выложить один из лучших(не только по моему мнению – robots.txt для WordPress. Файл который помогает поисковым системам правильно индексировать содержимое наших сайтов. Сейчас прокомментирую некоторые пункты.
Роботс.тхт разбит на 3 основные части, прописан отдельно для Яндекс Бота, Гугл Бота и остальных поисковых систем…
– Обратите внимание что прификс wp- является стандартным в WordPress если вы его меняли, измените на свой.
– wp-subscription-manager – эта строчка необходима если у вас установлен соответствующий названию плагин.
– Отдельно как вы видите прописаны правила для Image ботов. Опять же папка указана по умолчанию, при необходимости замените.
– Ну и два последних указаны для Яндекс Директ(РСЯ) и AdSense, чтобе не нарушать правила Рекламных Сетей…
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 |
User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /search Disallow: */trackback/ Disallow: */feed/ Disallow: */feed Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Disallow: /?wp-subscription-manager* Disallow: */comment Disallow: */attachment/* Disallow: */page/* Allow: /wp-content/uploads/ Host: sapis.biz User-agent: Googlebot Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /search Disallow: */trackback/ Disallow: */feed/ Disallow: */feed Disallow: */comments/ Disallow: /?feed= Disallow: *?* Disallow: /?wp-subscription-manager* Disallow: */comment Disallow: */attachment/* Disallow: /wp-includes/ Disallow: */page/* Allow: /wp-includes/js/ Allow: /wp-content/uploads/ User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /search Disallow: */trackback/ Disallow: */feed/ Disallow: */feed Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Disallow: /?wp-subscription-manager* Disallow: */comment Disallow: */attachment/* Disallow: */page/* Allow: /wp-content/uploads/ User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/ User-agent: Mediapartners-Google Disallow: User-Agent: YaDirectBot Disallow: |
comments powered by HyperComments
