SEO

Robots.txt dosyası ne işe yarar?

Robots.txt dosyasının kullanım amacı, Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir.

Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir.

Örnek bir robots.txt adresi şu şekilde olmalıdır;

https://www.bugrayazar/robots.txt 
veya
http://bugrayazar.blogspot.com/robots.txt

Aşağıdaki örneklerdeki robots.txt dosyaları ise, bulundukları hatalı pozisyon nedeni ile, robotlar tarafından dikkate alınmayacaklardır;

https://www.bugrayazar/fotograflar/robots.txt
veya
http://bugrayazar.blogspot.com/ozel/robots.txt

robots.txt dosyası sadece belirli bir şekilde düzenlenmiş metin içeriğine sahip olmalıdır ve asla HTML kodları içermemelidir. Aşağıdaki örnekleri inceleyelim;

Tüm robotların indekslemesini engellemek için;

User-agent: *Disallow: /

Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemekiçin;

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:

Tüm robotların blog’unuzun tamamını indekslemesi için;

User-agent: *  
Disallow:

Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.

Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: *
Disallow: /dizin-adi/

Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html

Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok 🙂

Örnek bir kod aşağıdaki şekilde olabilir;

# www.ornek.com için robots.txt dosyası
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/private/
Disallow: /private.html

Kaynaklar;

www.robotstxt.org

Önerilen Yazı →   WordPress Yedekleme Eklentileri
Etiketler

Buğra Yazar

Startup WordPress Kurucusu. 2010 yılından bu yana çeşitli web projelerinde yer aldım. Kendimi SEO, WordPress Sosyal Medya ve Dijital Pazarlama alanlarında geliştirdim ve geliştirmeye devam ediyorum. SEO Uzmanı olarak Arama motoru optimizasyonu ve Dijital Pazarlama konularında hizmet vermekteyim. Bildiklerimi blogumda paylaşıyorum.

Benzer Yazılar

Bir Yorum

  1. Twitter paylaşımlarım da linkde sorun yok ama görseli TwitBot almıyordu sonunda çözdüm. Robots.txt dosyası hakkında ki detaylı anlatım için teşekkürler.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

İlginizi Çekebilir

Kapalı
Başa dön tuşu
Kapalı