22 нояб. 2010 г.

Файл robots.txt для wordpress

В-общем-то, этот пост я пишу скорее для себя, чем для вас, мои драгоценные: никакой Америки я не открою и нового ничего не скажу. Просто забуду, если не запишу, да и мало ли - вдруг всё-таки кому-нибудь сгодится! К тому же - надо поставить метку, чтобы я могла отследить результат своего эксперимента с роботс.тхт.
В предыдущем посте я писала про файл роботс.тхт для джумла, так вдруг и подумалось - а чем мой "Обед" - кормилец единственный - хуже? Короче, опять влезла в фтп.админку (вы видите, я уже вхожу во вкус), и обнаружила, что в корневой папке он у меня совсем и напрочь отсутствует! Пришлось самой создавать (в этот момент я так и раздувалась от гордости, и призывала всё семейство в свидетели своих успехов).

После моей странной неудачи с плагинами, когда вместо тегов, категорий и архивов у меня перестал индексироваться весь сайт целиком, и я впала в коллапс, терроризизируя Дашу жалобными письмами, а Иру - хныканьем в аське, я решила с горя использовать для оптимизации роботс.тхт. Если вдруг кто не в курсе - то это указание для поисковых машин, то бишь роботов, по типу знаменитого "Ты туда не ходи, ты сюда ходи".

Вот что я наваяла:
User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /?s=

Sitemap: http://obediznichego.ru/sitemap.xml

Host: obediznichego.ru


Теги запретила, а вот категории забыла вставить, только сейчас обнаружила! Disallow: /*page/ - запрещает постраничную индексацию, там сплошь дублированный контент получается, но всё равно насчёт этой строчки сомневаюсь. Disallow: /?s= - запрещает результаты поиска, остальные запрещают индексацию админки, фидов, страницы регистрации, входа, ну ещё и теги, конечно.

Теперь жду апа выдачи - страниц 200 должно вылететь, не меньше. Посмотрим, что будет. О результатах отпишусь.

3 коммент.:

Отправить комментарий

 
Rambler's Top100