robot txt

En basit robots.txt dosyası iki kural kullanır: User-agent: aşağıdaki kuralın geçerli olduğu robot Disallow: engellemek istediğiniz URL Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok Disallow satırı ve birden çok user-agent...