robots txt

farmasiyen
allow ve disallow kelimelerinin yoğun olarak geçtiği dosya. sitelerin kö k dizininde yer almaktadır ve indexlenmesini istediğiniz/istemediğiniz alanları özelleştirmenizi sağlamaktadır. bazı sitelerin robots.txt dosyasını bulabilsem de çoğunda bu dosyayı bulmak mümkün değildir.