Robots.txt nedir?

By 4 Ocak 2019 Ocak 10th, 2019 SEO
Robots.txt nedir?

Arkadaşlarınla Paylaş!

Robots.txt dosyaları, arama motoru konsollarında önemli bir yere sahip olan, gelen arama motoru botlarının ne yapması gerektiğini söyleyen komut dosyasıdır.

Yazıyı görüntüle

Robots.txt dosyaları, arama motoru konsollarında önemli bir yere sahip olan, gelen arama motoru botlarının ne yapması gerektiğini söyleyen komut dosyasıdır.

Bu dosya sayesinde, gelen arama motoru botlarının, hangi dosyaları indexlemesine hangi dosyaları indexlememesine karar verebilirsiniz.

Google botları tarafından fark edilen bir sitenin ilk olarak robots.txt dosyasına girilir. Botların okuyacağı komutlar ile botların görmesini veya görmemesini istediğiniz dosyalara siz karar verirsiniz.

Ayrıca, botların site haritasını okuması içinde robots.txt içine site haritasının bağlantısını eklemeniz gerekmektedir. Eklemediğiniz taktirde eklendiğiniz bir yazı, sayfa, kategori, etiket veya indexlenmesini istediğiniz herhangi bir dosya indexlenmeyebilir.

Robots.txt Oluşturma Araçları

Robots.txt oluşturmayı bilmeyenler için online olarak robots.txt oluşturabileceğiniz araçlar mevcuttur. Bu araçları kullanarak robots.txt dosyalarını oluşturabilirsiniz.

1- Seo hocası Robots.txt Oluşturma Aracı

Araca, bu bağlantı üzerinden olaşabilirsiniz. Aracın kullanımı hakkında aşağıda detaylı bir bilgi vereceğim.

Robots.txt Dosyası Oluşturma
Robots.txt Dosyası Oluşturma

Eğer, henüz kurma aşamasında bir web siteniz varsa ve sitenizin Google’da indexlenmesini istemiyorsanız  Standart Robot erişimi bölümünü Disallow | Tüm robotları devre dışı bırak seçeneğini işaretlemelisiniz.

Ek kurallar bölümünde ise, İşlem bölümündeki Disallow ve Allow ne işe yarar?  Bakalım. Disallow engelle, allow izin  ver anlamına gelmektedir. Engellemek istediğiniz url’yi işlem kısmından disallow olarak işaretleyin.

Botlar kısmında İzin vermek isteyeceğiniz veya engellemek isteyeceğiniz botları göreceksiniz. İçinde bazı bilindik botlar mevcuttur isteğinize göre seçebilir veya Tüm Robotlar seçeneğini de seçebilirsiniz

Dosya yolu kısmında ise ince bir çizgi var. Bu bölümde dosya yoluna siteisminiz.com/ornek-dizin şeklinde yapmayacaksınız. Site adınızdan sonraki kısmı yapacaksınız örnek olarak /ornek-dizin şeklinde bir işaretleme yaparsanız siteisminiz.com/ornek-dizin sayfanız robotlar tarafından indexlenmez.

Önerilen Yazı →   Web Sitesi Optimizasyonu

Sitemap Kısmında ise bulunan sitemap dosyanızı eklemeniz oldukça önemlidir. Genel olarak sitemapınız siteisminiz.com/sitemap.xml ya da siteisminiz.com/sitema_index.xml şeklinde olabilir ikisini de kontrol edin ikisinde de yoksa bir sitemap dosyası oluşturmalısınız.

En aşağıda yer alan robots.txt dosyanıza eklemeniz gereken kodlardır. Bir ftp aracı ile bağlanıp public_html içine robots.txt dosyası oluşturun ve kodları ekleyin.

Örnek Robots.txt Dosyası

Örnek Robots.txt Dosyası
Örnek Robots.txt Dosyası

2- İHS Robots.txt oluşturma aracı

IHS Hosting firması tarafından oluşturulmuş bir robots.txt oluşturma aracıdır. Tüm robots.txt oluşturma araçlarının mantalitesi hemen hemen aynıdır. Ihs robots.txt oluşturma işlemi nasıl yapılır bakalım

Robots.txt Oluşturucu
Robots.txt Oluşturucu

Varsayılan yapılandırma tercihi: İzin ver’i seçerseniz indexleme aktifleşir. Engelle derseniz sitenize bot girmez.

Tarama Süresi: İstediğiniz bir tarama süresi varsa belirtebilirsiniz. Bu süre sonunda arama motorları sitenizden çıkacaktır. Boş bırakabilirsiniz.

Sitemap: Sitemap kısmına sitemap adresinizi girmelisiniz. Sitemap.xml ya da sitemap_index.xml şeklinde olabilir.

Arama motorları: Bu kısımda arama motorlarının botları yer almaktadır istediğiniz gibi botları engelleyebilir ya da izin verebilirsiniz. Default olarak hepsine izin verilmiştir. Engellemek istediğiniz botları engelleyi işaretleyerek engelleyebilirsiniz.

Kısıtlamak istediğiniz dizinler: Bu kısıma engellemek istediğiniz dizinileri girerek engelleyebilirsiniz. Yine aynı şekilde siteisminiz.com/dosya-dizini klasörünü engellemek için /dosya-dizini olarak işaretlemeniz yeterli olacaktır.

Sonrasında, oluşan robots.txt dosyasını ftp programı aracılığı ile ana dizininiz olan public_html’e atmanız yeterlidir.

Robots.txt, SEO için gerçekten önemli bir dosyadır. Robots.txt ile indexleme veya index engelleme işlemlerini yapabileceğinizi ve burada sitemap eklemeniz gerektiğini unutmamalısınız. Google’da gözükmesini istemediğiniz bir yazıyı robots.txt’den engelleyerek sağlayabilirsiniz.

Arkadaşlarınla Paylaş!

1 Yıldız2 Yıldız3 Yıldız4 Yıldız5 Yıldız (Kullanıcı oyu: 1)
Loading...
Buğra Yazar

Buğra Yazar

9 yıldır kurumsal firmalara WordPress ve SEO danışmanlık hizmetleri vermekteyim. Siz hayalinizdeki projeyi anlatın ben gerçekleştireyim.

One Comment

Yorum Yaz