Bazı Arama Motorlarından saklanın


Arama motorlarına ait sürüngenlerin (crawler) web sitenizdeki hangi klasörleri indeksleyemeyeceğini belirtebilirsiniz. Daha önceki yazımda bunu anlatmıştık. Şimdi gelelim işin diğer ilginç bir noktasına…

Şu an web sitelerini durmadan tarayan arama motorları o kadar çok ki sizin web sitesinin sınırlı trafiğinin belgi çoğunu bunlar kullanıyorlar. Dolayısıyla belli başlı sürüngenlere izin vermek daha iyi olacaktır. Sadece Google benim sitemi indekslesin, diğerlerine izin vermek istemiyorum derseniz User-agent: değeri olarak Googlebot yazmak yeterlidir. Örneğe geçmeden önce belli başlı sürüngen botların kod isimlerini öğrenelim.

Arama Motoru Bot Adı
Google googlebot
MSN msnbot
Yahoo! yahoo-slurp
Ask/Teoma teoma
Alexa ia_archiver
Bunlar da resim arama motorları
Google Image googlebot-image
Google Mobile googlebot-mobile
Yahoo MM yahoo-mmcrawler
MSN PicSearch psbot

Örnekleri googlebot üzerinden anlatacağım.

1. Arama motoru sitenin heryerini indeksleyebilir diyorsanız yapmanız gereken şu:

User-agent: googlebot
Disallow: 

2. Googledan başka kimse web sitesini indekslemesin diyorsanız:

User-agent: googlebot
Disallow: 
User-agent: *
Disallow: /

3. Google A klasörünün içeriğini indekslemesin, Yahoo da B klasörünün içini indekslemesin diyorsanız:

User-agent: googlebot
Disallow: /A

User-agent: slurp
Disallow: /B

Örnekler anlaşılır olmuştur. En azından ben anladım. Ben anladıysam herkes anlamıştır.

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Connecting to %s