En basit robots.txt dosyası iki kural kullanır:
User-agent: aşağıdaki kuralın geçerli olduğu robot
Disallow: engellemek istediğiniz URL
Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok Disallow satırı ve birden çok user-agent...