Arama motorlarına ait sürüngenlerin (crawler) web sitenizdeki hangi klasörleri indeksleyemeyeceğini belirtebilirsiniz. Daha önceki yazımda bunu anlatmıştık. Şimdi gelelim işin diğer ilginç bir noktasına…