robots.txt

robots.txt - подборка для различных CMS

Robots.txt - текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

Файл robots.txt для WordPress:
(с включенным ЧПУ)

User-agent: *
Disallow: /?s=*
Disallow: /?p=*
Disallow: /wp-*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Yandex
Disallow: /?s=*
Disallow: /?p=*
Disallow: /wp-*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag/
Host: yourdomain.ru
Sitemap: http://yourdomain.ru/sitemap.xml

Файл robots.txt для Movable Type:

User-agent: Yandex
Disallow: /assets_c/
Disallow: /cgi-bin/
Host: yourdomain.ru
User-agent: Googlebot-Image
Allow: /assets_c/
Disallow: /cgi-bin/
User-agent: *
Disallow: /assets_c/
Disallow: /cgi-bin/

Файл robots.txt для DataLife Engine:

User-agent: *
Disallow: /user/
Disallow: /uploads/
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
User-agent: Googlebot-Image
Allow: /путь куда закачиваются картинки/
User-agent: Yandex
Disallow: /user/
Disallow: /uploads/
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /tags
Host: yourdomain.ru
Sitemap: http://yourdomain.ru/sitemap.xml

Файл robots.txt для Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
User-agent: Googlebot-Image
Allow: /images/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Host: yourdomain.ru
Sitemap: http://yourdomain.ru/sitemap.xml

Файл robots.txt для Cotonti / Seditio:

User-agent: *
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /skins
Disallow: /users.php
Disallow: /go.php
User-agent: Googlebot-Image
Allow: /images/
User-agent: Yandex
Disallow: /datas
Disallow: /images
Disallow: /js
Disallow: /skins
Disallow: /users.php
Disallow: /go.php
Host: yourdomain.ru

Файл robots.txt для IP.Board 2.x:
(для IPB без ЧПУ)

User-agent: *
Disallow: /*lofiversion
Disallow: /*setlanguage
Disallow: /*?s=
Disallow: /*ptopic
Disallow: /*act=SF&s=&f
Disallow: /*s0
Disallow: /*pid=
Disallow: /*?start=
Disallow: /*Print
Disallow: /*print
Disallow: /*CP&CODE
Disallow: /*js
Disallow: /*style_images
Disallow: /*java
Disallow: /*cache
Disallow: /*?showuser
Disallow: /*showuser
Disallow: /*?Showuser
Disallow: /*?act=act=attach
Disallow: /*?act=act=Attach
Disallow: /*aboutme&mid
Disallow: /*?act=calendar
Disallow: /*?act=Calendar
Disallow: /*?act=login
Disallow: /*?act=Login
Disallow: /*?act=post
Disallow: /*?act=reg
Disallow: /*?act=Reg
Disallow: /*?act=online
Disallow: /*?act=Online
Disallow: /*?act=members
Disallow: /*?act=Members
Disallow: /*?act=help
Disallow: /*?act=Help
Disallow: /*?act=search
Disallow: /*?act=Search
Disallow: /*?act=forward
Disallow: /*?act=Forward
Disallow: /*?act=mail
Disallow: /*?act=Mail
Disallow: /*?act=report
Disallow: /*?act=chat
Disallow: /*?act=msg
Disallow: /*?act=usercp
Disallow: /*?act=Usercp
Disallow: /*?act=profile
Disallow: /*?act=track
Disallow: /*?act=stats
Disallow: /*?act=Stats
Disallow: /*?act=attach
Disallow: /*?act=legends
Disallow: /*?act=mmod
Disallow: /*?act=warn
Disallow: /*?act=task
Disallow: /*?act=findpost
Disallow: /*?act=paysubs
Disallow: /*view=getnewpost$
Disallow: /*view=getlastpost$
Disallow: /*view=old$
Disallow: /*view=new$
Disallow: /*view=getfirst$
Disallow: /*view=getprevious$
Disallow: /*view=getnext$
Disallow: /*view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*?p=
Disallow: /*&gopid=
Disallow: /*?gopid=
Disallow: /*&hl=
Disallow: /*?hl=
Disallow: /*&cal_id
Host: yourdomain.ru

Файл robots.txt для vBulletin 3.x:

User-agent: *
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /printthread.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /go.php
User-agent: Googlebot-Image
Allow: /images/
User-agent: Yandex
Disallow: /index.php
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /printthread.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/
Disallow: /go.php
Host: yourdomain.ru

Файл robots.txt для Drupal:

User-agent: *
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /cron.php
Disallow: /install.php
Disallow: /update.php
Disallow: /xmlrpc.php
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /tracker
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/

Если вы хотите запретить попадание вашего сайта в веб-архив (web.archive.org):

User-agent: ia_archiver
Disallow: /

Разрешить индексирование боту Яндекс.Картинки (имеет смысл, если директория сайта с картинками, например /images/ или /uploads/ сокрыта от поисковых ботов):

User-agent: YandexImages
Allow: /директория_с_картинками/

Update: Наиболее частые ошибки при составлении robots.txt