Arama motorları botları, web sitelerinin sayfalarını tararlar ve arşivlerler. Ancak zaman zaman web sitemize ait olan her sayfanın arama motoru botları tarafından bulunmasını istemeyiz. İşte tam da burada Robots.txt metin dosyaları devreye girer. Arama motorlarına kapatmak istediğiniz her sayfa ya da uzantıyı Robots.txt dosyaları ile gizleyebiliriz. Ancak bu dosya oluşturulurken dikkat edilmesi de gerekir. Çünkü yanlış oluşturulan bir Robots.txt dosyası sitenizin önemli sayfalarını, arama motorları tarafından bulunmasını istediğiniz sayfaları da erişime kapatabilir. SEO açısından önemli olan bu duruma nasıl dikkat edilir, bu dosya nasıl oluşturulur gelin hep birlikte inceleyelim;
Robots.txt metin dosyası, herhangi bir arama motoru için sitenizin hangi sayfa ya da bölümlerinin dizine ekleneceğini ya da eklenemeyeceğini söyleyen basit bir komut dosyasıdır. Arama motorları tarafından görevlendirilen, örümcek adı da verilen botlar sitenize geldiğinde ilk önce bu dosyayı tarar ve bu dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler ya da eklemez. Eğer Robots.txt dosyanız doğru bir şekilde hazırlandıysa, arama motoru robotları yazdığınız bu komutlara uygun bir şekilde tarama işlemlerini gerçekleştirecektir.
Gördüğünüz üzere Robots.txt dosyası her web sitesinde mutlaka olması gereken bir dosyadır, tabii doğru hazırlanmış bir şekilde.
Robots.txt komut dosyası belli standartlar çerçevesinde hazırlanmalı ve web sitenizin kök dizinine bu şekilde yüklenmelidir. Öncelikle web sitenizin kök dizininde robots.txt dosyanızın bulunması bir gerekliliktir ve dosya oluşturulurken bir alt klasörde ya da farklı sayfalarda yer almaması gerekir.
