Robots.txt nedir? Ne işe yarar?

Robots.txt dosyası,  arama motorlarının ve örümceklerinin(spider) sitemizde hangi sayfa veya klasöre erişip erişmeyeceğine dair bir takım özel ifadeler girdiğimiz bir dosyadır. Sitemizin rootunda(ana dizinde) bulunur. 

Arama motorlarının botları sitenize ilk girdiğinde aradığı dosya Robots.txt dosyasıdır.

- Arama motorlarında siteniz yer almasın istiyorsanız :

User-agent: *
Disallow: /

- Arama motorları siteniz tamamına erişsin ve indekslesin istiyorsanız :

User-agent: *
Disallow:

- Bir dizinin(klasörün) içindekilerinin tamamının indekslenmesini istemiyorsanız :

User-agent: *
Disallow: /dizin-adi/

- Blogum için kullandığım Robots.txt dosyası :

User-agent: *
Disallow: /login.aspx
Disallow: /error404.aspx
Disallow: /*ref=*
Disallow: /*?ref=*  

Yukarıdaki ifadeleri açıklamak gerekirse, ilk satırda tüm arama motorları tarafından sitemin indekslenmesine izin veriyorum, ikinci ve üçüncü satırlarda login ve hata sayfasını indekslememesini belirttim. Çeşitli siteler tarafından spam linkler yediğimi farkedince referasının kısaltması olan ref querstringini bulunduran her türlü linki indekslememesini son 2 satırda belirttim, bu sayede http://www.ugurcelenk.com?ref=abc1233.com gibi linklerin arama motorlarında yer almamasını sağladım.