Robots.txt File Generator



Buradaki site ile kendinize robots.txt dosyasi olusturabilir böylece arama motorlarinin neleri indexleyip neleri indexlememesi gerektiginin kurallarini belirleyebilirsiniz , gerekli bir iki terimin anlamini

aciklayacak olursak:
User-agent: * : Bütün spiderlara (Arama robotlarina) izin verdigimizi gösterir.
Disallow: / ise Arama robotlarinin indexlemesini istemedigimiz klasörler için kullanacagimiz ön takidir , örnek uygulama su şekilde olabilir

User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

#User-agent: ia_archiver-web.archive.org
#Disallow: /

Sitemap: http://www.askapache.com/sitemap.xml

Disallow: /wp- : wp ile baslayan WordPress files larin hicbiri indexlenmez
Disallow: /cgi-bin/ : cgi-bin klasörü indexlenmez

Asağidaki resme tıklayarak robots.txt dosyaniza istedigniz kişitlamalari getiren kodlari ekleyebilirsiniz

Velociraptor


Yorum Ekle

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Captcha