Meta robots etiketi, arama motorlarına (Google, Bing vb.) sayfayı nasıl işleyeceklerini söyler. İndeksleyecek mi, linkleri takip edecek mi, snippet gösterecek mi? Bu rehberde meta robots etiketinin ne olduğunu, index/noindex, follow/nofollow, noarchive, nosnippet gibi değerleri, hangi sayfalarda kullanılması gerektiğini, X-Robots-Tag HTTP header'ı ile farkını ve canonical ile ilişkisini anlatıyoruz.
Meta robots, HTML <head> bölümüne eklenen bir meta etiketidir. Arama motorlarına "bu sayfayı indeksleme" veya "bu sayfadaki linkleri takip etme" gibi talimatlar verir. Varsayılan davranış index, follow'dur; yani etiket yoksa sayfa indekslenir ve linkler takip edilir.
<meta name="robots" content="değer1, değer2">
index: Sayfanın arama sonuçlarında görünmesine izin verir. noindex: Sayfanın indekslenmemesini, dolayısıyla SERP'te görünmemesini söyler. Hangi sayfalar noindex almalı?
follow: Sayfadaki linklerin takip edilmesine izin verir; link equity aktarılır. nofollow: Linkleri takip etme; Google genelde bu linkleri "güven oyuna" dahil etmez. Sayfa indekslenebilir ama linkleri crawl edilmez. Kullanım alanları: kullanıcı içeriği, güvenilmeyen sayfalar, reklam linkleri.
"Noindex ve nofollow birlikte kullanıldığında: Sayfa indekslenmez ve sayfadaki linkler de takip edilmez. 'Bu sayfayı tamamen görmezden gel' anlamına gelir."
content="noindex, nofollow" — Sayfa ve linkler tamamen ignore.content="noindex, follow" — Sayfa indekslenmez ama linkler takip edilir (nadir).content="index, nofollow" — Sayfa indekslenir, linkler takip edilmez.Bazı durumlarda HTML'e erişemezsiniz (PDF, resim, dinamik response). Bu durumda sunucu yanıtına X-Robots-Tag HTTP header'ı ekleyebilirsiniz. Örnek: X-Robots-Tag: noindex. Aynı değerler meta robots'ta olduğu gibi kullanılır. Google her iki yöntemi de destekler; meta etiket sayfa bazında, header sunucu/URL bazında uygulanabilir.
Canonical etiketi, "bu sayfanın asıl versiyonu şu URL" der. Meta robots ile birlikte kullanıldığında: duplicate sayfada noindex, follow ve canonical'da ana sayfa URL'si koyabilirsiniz. Google duplicate'ı indekslemez, linkler ana sayfaya yönlendirilir. Meta etiketler rehberimizde canonical detaylarına da yer verdik.
Meta robots etiketi, indeksleme ve link takibini kontrol eder. Noindex: indeksleme yok; nofollow: link takibi yok. Ödeme, sepet, duplikate sayfalar için noindex kullanın. X-Robots-Tag, HTML dışı içerikler için alternatiftir. Canonical ile birlikte duplicate content yönetiminde etkilidir.