Robot.txt Nedir

Robot.txt dosyası sizi arama motorunda yüksek sıralar taşımaz ama sizi geri sıralar düşmekten önleyebilir. Şöyleki eger ziyaretcilerinize sundugunuz bir kaç sayfayı arama motorları tarından indexlenmesini istemeye bilirsiniz çünkü bu sayfalarınıı içerigi sizi arama optimizasyonu çalışmanıza ters düşüyor olabilir.

Yani kısaca bu dosya arama motorlarına ziyaretci göndermesini istemediginiz sayfaları belirtiyorsunuz. Aslında cogu web site Robot.txt dosyasını kullanmazlar,

Robot.txt kullanarak istemediğiniz, yapımımı bitmemiş bölümlerin indekslenmemesini isityorsak aşagıdaki örnegi kullanabilriz.

User-agent: *
Disallow: /dizin/
Aşagıdaki çok basit bir robots.txt dosyası; bu dosya sizi e-mail toplayan robaotan korur,
User-agent: Emailcollector
Disallow: /

Robot.txt dosyası root dizini içerisine yerleştirmemiz gerikir.