Xenforo robots.txt dosyasını otomatik olarak bünyesinde barındırmaz daha doğrusu hiç bir sistem bünyesinde barındırmaz. Bu yüzden arama motorlarının botları sitemizi daha iyi taraması için robots.txt oluştururuz.
Robots.txt nedir ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Xenforo için bizim kullandığımız robots.txt dosyası şu şekilde
engellemek istediğiniz dosyalar var ise aşağıdaki gibi eklemeler yapabilirsiniz
Robots.txt nedir ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır.
Xenforo için bizim kullandığımız robots.txt dosyası şu şekilde
Kod:
# robots.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /register/
Disallow: /conversations/
Disallow: /login/
Disallow: /account/
Disallow: /install/
Disallow: /online/
Disallow: /admin.php
Sitemap: https://www.supermeydan.net/sitemap.phpengellemek istediğiniz dosyalar var ise aşağıdaki gibi eklemeler yapabilirsiniz
Kod:
Disallow: /account/
Disallow: /hesap/
