Google Web Master

Arkadaşlar 3 sorum olacak lütfen cevaplayalım

1-)Arkadaşlar robot.txt ne işe yarar?

2-)Yeni bir robot,txt oluşturursak bize nasıl bir katkı sağlar?

3-)Robot.txt ayarlarına urllerimizi eklersek ne işe yarar ekleyebilir miyiz ?
______________

Ethical Hacker Professional Web Designer

Bilen yok mu arkadaşlar?
______________

Ethical Hacker Professional Web Designer

1 -Bir web sitesinin kodunda bulunan robots.txt isimli dosya, robotlara yaptıkları indeksleme çalışmalarında o sitenin tamamını veya belirli bir bölümünü indekslememesini ( göz ardı etmesini) talep eder

2bedava sitemde bunu yapamıyoruz

3 robot txt ye url eklenmez istennmeyen bölümleri kısıtlamak içindir
mesela giriş bölümü arama motorunda istemiyorsak kullanılırz

örnekler

Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; " * " yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.

User-agent: *
Disallow:
Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

User-agent: *
Disallow: /
Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli;

User-agent: BadBot # 'BadBot' kelimesi ilgili botun adı ile değiştirilir.
Disallow: /private/
Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.

User-agent: *
Disallow: /directory/file.html
Kod içinde yorum yazılan örnekler;

# Yorumlar "#" işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir.
User-agent: * # bütün botları kapsasın
Disallow: / # bütün botları uzak tutsun
______________

Çok Sağol Kardeşim...
______________

Ethical Hacker Professional Web Designer