Forum'da ara:
Ara


Yazar Mesaj
Mesaj04.02.2009, 19:46 (UTC)    
Mesaj konusu: arama robotları

ARAMA ROBOTLARI
Web’in dinamik yapılı içeriğini otomatik olarak tekrar tekrar dolaşan ve bunları veritabanlarında tutan programlara Web robotları yada arama motoru örümcekleri diyoruz. Web tarayıcıları robot değillerdir. Web robotlarından bazı yerlerde Web Wanderers, Web Crawlers veya Spiders olarak da sözedilmektedir. Robotların siteleri gezerken bir virüs gibi kendilerini gezdikleri serverlara kopyalayıp zarar verdikleri düşünülmektedir. Oysa robotlar birer virüs değildir. Sadece ziyaret ettikleri sitenin bilgilerini almakla görevlidirler.

AGENT NEDIR?
Bazı agent çeşitleri şunlardır;
Autonomous agents;
Pek kullanılmayan, fakat özel serverlar arasında kullanılan bir türdür.
Intelligent agents;
Kullanıcılara yardımcı olan agent’lardır. Kullanıcılar ürün seçiminde veya forum doldururken ya da birşeyleri ararken bu agent’in yardımını alırlar.
User-agent;
Network görevleri için kullanılan teknik bir terimdir. Mesela Web User-Agent olarak Netscape Navigator ve internet Explorer örnek verilebilinir.
SEARCH ENGINE NEDIR?
Robotlar tarafından oluşturulan bir veritabanı içerisinde belli kriterlere göre arama işlemi yapan programlardır.
ROBOTLAR HANGI AMAÇ IÇIN KULLANILIRLAR?
Indexleme
HTML doğrulama
Link doğrulama
Yenilikler
Benzer içerikler
ROBOTLAR ZARARLI MIDIR?
Bazı sebeplerden dolayı bazıları robotların zararlı olduğunu düşünmektedirler.
İşte sebepler;
Kimi robotlar ziyaret ettikleri serverlar üzerinde aşırı yüklemeler yapmaktadırlar. Bu site sahiplerinin hiç hoşuna gitmemektedir. Fakat bu tür olaylar genellikle robot yazılımları geliştiren acemi yazılımcıların neden oldukları bir durumdur.
Robot yazılımcılarının yazılımı kullanacak olanlara karşı dikkatli olması ve hata yapabileceklerini düşünmesi gerekmektedir. Robot’ları kullanacak olanların hatası zaman zaman tehlikeli olabilmektedir.
Indexleme işleminde ölçeklenemeycek kadar büyük merkezi veritabanları oluşturulması.
Fakat robotlar kötü veya çok zeki değillerdir. Sadece kullanımı dikkat gerektirmektedir. Iyi tasarlanmış ve profesyonel yönetilen robotlar probleme yol açmazlar. Aksine web dünyasının daha verimli kullanılmasını sağlarlar.
BIR ROBOT NEREYI ZIYARET EDECEĞINE NASIL KARAR VERIR?
Her robotun farklı bir stratejisi vardır. Genellikle tarihsel URL listelerinden başlanır. Özellikle çok ziyaret edilen ve yeni sayfaların yayınlandığı server-lists’ler kontrol edilir. Kendiniz URL adresinizi göndererek de sitenize bir robot çağarmanız mümkün. Robotlar ziyaret ettiği sitelerin içerik ve kaynaklarını parse ederken rastladığı adresleri de ziyaret edeceklerdir.
INDEXLEME YAPAN ROBOTLAR NELERI INDEXLERLER?
Bazıları HTML titles’ları indexlerken bazıları ilk bir kaç paragrafı veritabanlarına aktarırlar. Tüm kelimeleri parse edip veritabanlarına alan robotlar da mevcuttur. Bazıları sadece META taglarla veya gizli bazı özel taglarla ilgilenirler.
KENDI SAYFAMI BIR ROBOTA NASIL KAYDETTIREBILIRIM?
Bahsedildiği gibi robotlar genellikle kendileri tüm sitelere ulaşmaktadırlar. Fakat robotları kendiniz de sitenize davet edebilirsiniz. Her robotun bir submit formu vardır. Buraya adresinizi girerek robotun sitenize uğramasını sağlayabilirsiniz. Diğer robotların adresleri için yukarıda verilen linki kullanarak addurl sayfalarını öğrenebilirsiniz. Ayrıca googlebot çok yoğun ve erişilmesi güç siteler haricinde tüm sitelere bir kaç saniye’de bir erişmektedir.
BIR ROBOT TARAFINDAN ZIYARET EDILDIĞIMI NASIL BILECEĞIM?
Server loglarından görebilirisiniz. Ayrıca serverınız User-agent ‘e izin veriyor ise alışılmadık user-agent loginleri için header değerlerini kontrol edebilirsiniz.

http://www.mypagerank.net/service_yblv_index yahoo botunu


http://www.mypagerank.net/service_mblv_index msn botunu

http://www.mypagerank.net/service_gbla_index google botunu alabilirsiniz.
Mesaj04.02.2009, 19:50 (UTC)    
Mesaj konusu:

Güzel Paylaşım Teşekkürler... Wink
______________
İmzanızı tekrar ayarlamanız lazım. - @cryengine3
Mesaj04.02.2009, 19:52 (UTC)    
Mesaj konusu:

Rica ederim. Wink
Mesaj04.02.2009, 20:02 (UTC)    
Mesaj konusu: :)

Güzel Paylaşım Teşekkürler...
Önceki mesajları göster:   


Powered by phpBB © 2001, 2005 phpBB Group
Türkçe Çeviri: phpBB Türkiye & Erdem Çorapçıoğlu