این که کدام دایرکتوری و فولدرها باید از دید موتورهای جستجو خارج باشند مسدله ای ایست که بر روی SEO سایت شما بسیار تاثیر گذار است. به غیر از آن این مسئله در ایجاد امنیت بالاتر برای وب سایت شما نیز بسیار تاثیرگذار خواهد بود. ایجاد  فایل robots.txt در ریشه سایت شما با موتورهای جستجو کمک شایانی خواهد کرد و وب سایتهای دارای این فایل معمولا در رتبه بهتری قرار خواهند گرفت. شما محدودیتها و اعمال زیادی رو از طریق این فایل میتوانید بر روی سایت خود ایجاد نمایید، اما امروز قصد دارم که نحوه بهینه سازی سایت شما (البته سایتهایی که از CMS هایی مثل WordPress، Joomla و ِDrupal استفاده میکنند) توسط ویرایش و یا ساخت این فایل توضیح دهم.

نکته مهم این است که فایلهای Robot.txt باید در ریشه اصلی سایت ایجاد شوند و برای مثال میتوان به این آدرس اشاره کرد :

http://www.yoursite/robots.txt

کافیست دستورات زیر را در این فایل کپی پیست کنید :

WordPress

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /images/

Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /libraries/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /admin
Disallow: /administrator
Disallow:/admin/
Disallow: /admin.html
Disallow:/admin.php

Drupal

User-agent: *
# Directories
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
# Paths (clean URLs)
Disallow: /admin/
Disallow: /aggregator/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /contact
Disallow: /logout
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
Disallow: /user/password/
Disallow: /print/
Disallow: /forward/
# Files
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /CHANGELOG.txt
Disallow: /MAINTAINERS.txt
Disallow: /LICENSE.txt
Disallow: /UPGRADE.txt
# Block user tracker pages
Allow: /project/track
Disallow: /*/track$
Disallow: /*/track?page=

If you are not using static urls:

Disallow: /?q=admin/
Disallow: /?q=aggregator/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /user/login/