Arama motoru optimizasyonu için birde robot.txt adı verilen dosyayı sitenize eklemelisiniz.

Bu dosya sitenizin ana dizininde bulunmalı. Notepad veya başka bir programla oluşturabilildiğiniz bu basit dosyayı "robot.txt" olarak kaydedin. Bu dosya ile sitemize gelen botları yönlendirebilir, girmesini istemediğimiz bize özel dosyaları taramasını söyleyebilir, yada tüm sitede gezinmesi için bu botları yüreklendirebilir ve serbetce dolaşması için teşvik edebiliriz. Dosyamıza " User-agent: * " yazdığımızda arama makinasından gelen bot "sitemizde rahatça gezebilirsin istediğin gibi indexleyebilirsin, her dosyaya bakabilirsin" demiş oluyoruz.

Bu yolla bizim botumuzun taramasını istemediği herhangibir klasörü ve dosyayıda taramadan geçmesini isteyebiliriz. Özellikle içeriğimizle alakası olmayan admin, users, ve buna benzer dosyaların taranmasını engelleyebilirsiniz.

"Disallow: /folder_name/" or "Disallow: /filename.html".

Robot.txt dosyamıza yukarıdaki gibi bir satır ekleyerek "folder" veya "dosyaadı.html" gibi düzenlemeler ile girmesini sitemediğimiz indexlenmesinde sakınca gördüğümüz kısımları robotların indexlemesine kapatabiliriz.