SEO

Robots.txt Rehberi

Nedir?

Robots.txt, bot tarayıcılara belirli sayfaları indekslemelerini veya indekslememelerini söyleyen metin biçiminde bir dosyadır. Tüm siteniz için kapı bekçisi olarak da bilinir. Google botları ilk amacı, site haritanıza veya herhangi bir sayfa veya klasöre erişmeden önce robots.txt dosyasını okumaktır.

Ne işe yarar?

  • Arama motoru botlarının sitenizi nasıl tarayacağını düzenleyin
  • Belirli erişim sağlayın
  • Arama motoru botlarının sayfanın içeriğini dizine almasına yardım edin
  • İçeriğin kullanıcılara nasıl sunulacağını gösterin

Robots.txt, site / sayfa / URL seviyesi direktiflerinden oluşan Robots hariç tutma protokolünün (REP) bir parçasıdır. Arama motoru botları sitenizi hala tarayabilirken, belirli sayfaların zamana ve çabaya değer olup olmadığına karar vermelerine yardımcı olabilir.

Neden Robots.txt’ye ihtiyacınız var?

Sitenizin düzgün çalışması için bir robots.txt dosyasına ihtiyacı yoktur. Bir robots.txt dosyasına ihtiyacınız olan temel nedenler, botlar sayfanızı taradığında, taramak için izin istemeleridir, böylece dizine alınacak sayfa hakkında bilgi almaya çalışabilirler. Ek olarak, robots.txt dosyası olmayan bir web sitesi temel olarak bot tarayıcılarından siteyi uygun gördüğü şekilde dizine eklemesini istiyor. Robotların sitenizi hala robots.txt dosyası olmadan tarayacağını bilmek önemlidir.

Robots.txt dosyanızın konumu da önemlidir, çünkü tüm botlar www.siteadi.com/robots.txt dosyasını arayacaktır. Orada bir şey bulamazlarsa, sitenin bir robots.txt dosyası olmadığını varsayar ve her şeyi dizine ekler. Dosya bir ASCII veya UTF-8 metin dosyası olmalıdır. Kuralların büyük / küçük harf duyarlı olduğuna dikkat etmek de önemlidir.

robots.txt’nin yapacağı ve yapmayacağı bazı şeyler

  • Dosya, tarayıcıların web sitenizin belirli alanlarına erişimini kontrol edebilir. Tüm web sitesinin dizine eklenmesini engelleyebildiğiniz için robots.txt dosyasını kurarken çok dikkatli olmanız gerekir.
  • Yinelenen içeriğin dizine eklenmesini ve arama motoru sonuçlarında görünmesini engeller.
  • Dosya, aynı anda birden fazla içerik parçası yüklerken sunucuların aşırı yüklenmesini önlemek için tarama gecikmesini belirler.

Sitenizde zaman zaman tarama yapabilecek bazı Googlebotlar:

Web PaletliKullanıcı Aracısı Dizesi
Googlebot HaberleriGooglebot-News
Googlebot GörüntüleriGooglebot-Image / 1.0
Googlebot VideosuGooglebot-Video / 1.0
Google Mobile (özellikli telefon)SAMSUNG-SGH-E250 / 1.0 Profil / MIDP-2.0 Konfigürasyonu / CLDC-1.1 UP.Browser / 6.2.3.3.c.1.101 (GUI) MMP / 2.0 (uyumlu; Googlebot-Mobile / 2.1; + http: // www. google.com/bot.html)
Google SmartphoneMozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Yapı / MMB29P) AppleWebKit / 537.36 (KHTML, Gecko gibi) Chrome / 41.0.2272.96 Mobil Safari / 537.36 (uyumlu; Googlebot / 2.1; + http: //www.google com / bot.html)
Google Mobile Adsense(uyumlu; Mediapartners-Google / 2.1; + http: //www.google.com/bot.html)
Google AdsenseMediapartners-Google
Google AdsBot (PPC açılış sayfası kalitesi)AdsBot-Google (+ http: //www.google.com/adsbot.html)
Google uygulama tarayıcısı (mobil cihazlar için kaynakları al)AdsBot-Google-Mobile Uygulamalar

Ek botların bir listesini burada bulabilirsiniz .

  • Dosyalar, site haritalarının konumunun belirlenmesinde yardımcı olur.
  • Ayrıca, arama motoru botlarının resimler ve PDF’ler gibi web sitesindeki çeşitli dosyaları endekslemesini de önler.

Bir bot web sitenizi ziyaret etmek istediğinde (örneğin, www.123.com ), ilk başta www.123.com/robots.txt dosyasını kontrol eder ve şunları bulur:

User-agent: *

Disallow: /

Bu örnek, tüm (User-agent *) arama motoru botlarına web sitesini endekslememesini (Disallow: /) bildirir.

Eğik çizgiyi Disallow’dan kaldırdıysanız, aşağıdaki örnekte olduğu gibi,

User-agent: *

Disallow:

botlar web sitesindeki her şeyi tarayabilir ve dizine ekleyebilir. Bu yüzden robots.txt’nin sözdizimini anlamak önemlidir.

Robots.txt sözdizimini anlama

Robots.txt sözdizimi, robots.txt dosyalarının “dili” olarak düşünülebilir. Bir robots.txt dosyasında karşılaşabileceğiniz 5 genel terim vardır. Onlar:

  • User-agent:  Tarama talimatlarını verdiğiniz web tarayıcısı (genellikle bir arama motoru)
  • Disallow: Bir kullanıcı aracısına belirli bir URL’yi taramamasını söylemek için kullanılan komut. Her URL için yalnızca bir “Disallow:” satırı izin verilir.
  • Allow (Only applicable for Googlebot): Bu komut, Googlebot’a ana sayfasının veya alt klasörünün izin vermemesine rağmen bir sayfaya veya alt klasöre erişebileceğini söyler.
  • Crawl-delay : Bir tarayıcının sayfa içeriğini yüklemeden ve taramadan önce beklemesi gereken milisaniye sayısı. Googlebot’un bu komutu kabul etmediğini unutmayın, ancak tarama hızı Google Arama Konsolu’nda ayarlanabilir .
  • Sitemap : Bir URL ile ilişkilendirilmiş herhangi bir XML site haritasının yerini bulmak için kullanılır. Bu komutun yalnızca Google, Ask, Bing ve Yahoo tarafından desteklendiğini unutmayın .

Robots.txt öğretim sonuçları

Robots.txt komutlarını verirken üç sonuç beklersiniz:

  • Full allow
  • Full disallow
  • Conditional allow

Aşağıda her birini araştıralım.

Full allow

Bu sonuç, web sitenizdeki tüm içeriğin taranabileceği anlamına gelir. Robots.txt dosyaları arama motoru botları tarafından taramayı engellemek içindir, bu yüzden bu komut çok önemli olabilir.

Bu sonuç, web sitenizde hiç bir robots.txt dosyanız olmadığı anlamına gelebilir. Sizde olmasa bile, arama motoru botları sitenizde yine de arayacaktır. Bunu alamazlarsa, web sitenizin tüm bölümlerini tararlar.

Bu sonucun altındaki diğer seçenek ise bir robots.txt dosyası oluşturmak, ancak boş kalmasını sağlamak. Örümcek taramaya geldiğinde, robots.txt dosyasını tanımlayacak ve hatta okuyacaktır. Orada hiçbir şey bulamayacağından, sitenin geri kalanını taramaya devam edecektir.

Bir robots.txt dosyanız varsa ve içinde aşağıdaki iki satır varsa,

User-agent:*

Disallow:

arama motoru örümceği web sitenizi tarayacak, robots.txt dosyasını tanımlayacak ve okuyacaktır. İkinci satıra geçecek ve ardından sitenin geri kalanını taramaya devam edecektir.

Full disallow

Burada hiçbir içerik taranmayacak ve dizine eklenmeyecektir. Bu komut bu satır tarafından verilir:

User-agent:*

Disallow:/

İçerikten bahsettiğimizde, web sitesindeki hiçbir şeyin (içerik, sayfalar vb.) Taranamayacağı anlamına gelir. Bu asla iyi bir fikir değildir.

Conditional Allow

Bu, web sitesindeki yalnızca belirli içeriğin taranabileceği anlamına gelir.

Koşullu izin, şu formata sahiptir:

User-agent:*

Disallow:/

User-agent: Mediapartner-Google

Allow:/

Burada tam robots.txt sözdizimine göz atabilirsiniz.

Robots.txt Rehberi

URL’yi aşağıdaki resimde gösterildiği gibi yasaklasanız bile, engellenen sayfaların yine de dizine alınabileceğini unutmayın:

Arama motorlarından, URL’nizin yukarıdaki ekran görüntüsündeki gibi dizine eklendiğini gösteren bir e-posta alabilirsiniz. İzin verilmeyen URL’niz, bağlantılardaki bağlantı metni gibi diğer sitelere bağlıysa, dizine eklenir. Bunun çözümü 1) sunucunuzdaki dosyalarınızı parola korumanız, 2) noindex meta etiketini kullanmanız veya 3) sayfayı tamamen kaldırmanızdır.

Bir robot hala robots.txt dosyamı tarayabilir ve görmezden gelebilir mi?

Evet. Bir robotun robots.txt dosyasını atlaması mümkündür. Bunun nedeni, Google’ın bir sayfanın dizine eklenip eklenmeyeceğini belirlemek için dış bilgiler ve gelen bağlantılar gibi diğer faktörleri kullanmasıdır. Bir sayfanın dizine eklenmesini istemiyorsanız, noindex robots meta etiketini kullanmalısınız. Başka bir seçenek de X-Robots-Tag HTTP üstbilgisini kullanmak olacaktır.

Sadece kötü robotları engelleyebilir miyim?

Kötü robotları teoride bloke etmek mümkündür, ancak pratikte bunu yapmak zor olabilir. Bunu yapmak için bazı yollara bakalım:

  • Kötü bir robotu hariç tutarak engelleyebilirsiniz. Bununla birlikte, belirli bir robotun Kullanıcı Aracısı alanında taradığı adı bilmeniz gerekir. Ardından robots.txt dosyanıza bozuk robotu dışlayan bir bölüm eklemeniz gerekir.
  • Sunucu yapılandırması Bu, yalnızca kötü robotun çalışması tek bir IP adresinden yapıldığında işe yarar. Sunucu yapılandırması veya bir ağ güvenlik duvarı, kötü robotun web sunucunuza erişmesini engeller.
  • Gelişmiş güvenlik duvarı kuralı yapılandırmalarını kullanma. Bunlar, kötü robotun kopyalarının bulunduğu çeşitli IP adreslerine erişimi otomatik olarak engelleyecektir. Çeşitli IP adreslerinde çalışan botların iyi bir örneği, daha büyük bir Botnet’in parçası olabilecek kaçırılmış PC’lerde söz konusudur ( burada Botnet hakkında daha fazla bilgi edinin ).

Kötü robot tek bir IP adresinden çalışıyorsa, web sunucunuza erişimini sunucu yapılandırması veya bir ağ güvenlik duvarı ile engelleyebilirsiniz.

Robotun kopyaları birkaç farklı IP adresinde çalışıyorsa, bunları engellemek zorlaşır. Bu durumda en iyi seçenek, birçok bağlantı yapan IP adreslerine erişimi otomatik olarak engelleyen gelişmiş güvenlik duvarı kural yapılandırmalarını kullanmaktır; ne yazık ki, bu iyi botların erişimini de etkileyebilir.

Robots.txt kullanırken en iyi SEO uygulamalarından bazıları nelerdir?

Bu noktada, bu çok zor robots.txt sularında nasıl gezinileceğini merak ediyor olabilirsiniz. Buna daha ayrıntılı olarak bakalım:

  • Sitenizin taranmasını istediğiniz hiçbir içeriği veya bölümleri engellemediğinizden emin olun.
  • Bağlantı eşitliğinin robots.txt olan bir sayfadan (pratik olarak engellenmiş demektir) bağlantı hedefine iletilmesini istiyorsanız, robots.txt’den farklı bir engelleme mekanizması kullanın.
  • Özel kullanıcı bilgileri gibi hassas verilerin arama motoru sonuçlarında görünmesini engellemek için robots.txt dosyasını kullanmayın. Bunu yapmak, diğer sayfaların, sayfanın dizine alınmasına neden olabilecek özel kullanıcı bilgileri içeren sayfalara bağlanmasına izin verebilir. Bu durumda, robots.txt atlandı. Burada keşfedebileceğiniz diğer seçenekler şifre koruması veya noindex meta yönergesidir .
  • Çoğu arama aracısı, aynı arama motoruna aitse aynı kuralları takip ettiğinden, arama motorlarının her biri için yönergeler belirtmeye gerek yoktur. Google, arama motorları için Googlebot’u ve görsel aramalar için Googlebot’un resmini kullanır. Her bir tarayıcının nasıl belirleneceğini bilmenin tek avantajı, sitenizdeki içeriğin tam olarak nasıl tarandığını tam olarak ayarlayabilmenizdir.
  • Robots.txt dosyasını değiştirdiyseniz ve Google’ın daha hızlı güncellemesini istiyorsanız, doğrudan Google’a gönderin. Bunun nasıl yapılacağına ilişkin talimatlar için buraya tıklayın . Arama motorlarının robots.txt içeriğini önbelleğe aldığını ve önbellek içeriğini günde en az bir kez güncellediğini unutmamak önemlidir.

Temel robots.txt kuralları

Artık robots.txt ile ilgili olarak temel bir SEO anlayışına sahip olduğunuza göre, robots.txt kullanırken nelere dikkat etmelisiniz? Bu bölümde, robots.txt kullanırken izlenecek bazı yönergeleri inceliyoruz, ancak söz diziminin tamamını okumak önemlidir .

Biçim ve konum

Bir robots.txt dosyası oluşturmak için kullanmayı seçtiğiniz metin editörünün standart ASCII veya UTF-8 metin dosyaları oluşturabilmesi gerekir. Bir kelime işlemci kullanmak iyi bir fikir değildir çünkü tarama işlemini etkileyebilecek bazı karakterler eklenebilir.

Robots.txt dosyanızı oluşturmak için hemen hemen her metin düzenleyici kullanılabilse de, bu araç sitenize karşı test yapılmasına izin verdiği için şiddetle önerilir.

İşte format ve konum hakkında daha fazla kural:

Daha önce belirtildiği gibi, hassas kişisel bilgilerin endekslenmesini önlemenin en iyi yolu robots.txt değildir. Bu, özellikle şu anda yeni uygulanan GSYİH ile birlikte geçerli bir endişe kaynağıdır. Veri gizliliğinden ödün verilmemelidir. Dönemi.

Daha sonra robots.txt dosyasının arama sonuçlarında hassas veriler göstermemesini nasıl sağlarsınız?

Web üzerinde “ayrılmaz” olan ayrı bir alt dizinin kullanılması, hassas malzemelerin dağıtımını önleyecektir. Sunucu yapılandırmasını kullanarak “sınırsız” olduğundan emin olabilirsiniz. Robots.txt dosyasının ziyaret etmesini istemediğiniz tüm dosyaları bu alt dizinde saklayın.

Robots.txt dosyasındaki sayfaları veya dizinleri listelemek istenmeyen erişime neden olmaz mı?

Daha önce belirtildiği gibi, dizine alınmasını istemediğiniz tüm dosyaları ayrı bir alt dizine koymak ve ardından sunucu konfigürasyonları yoluyla kaldırılamaz duruma getirmek, bunların arama sonuçlarında görünmemesini sağlamalıdır. Daha sonra robots.txt dosyasında yapacağınız tek liste dizin adıdır. Bu dosyalara erişmenin tek yolu, dosyalardan birine doğrudan bağlantıdır.

İşte bir örnek:

Yerine

User-Agent:*

Disallow:/foo.html

Disallow:/bar.html

kullanım

User-Agent:*

Disallow:/norobots/

Daha sonra foo.html ve bar.html içeren bir “norobots” dizini oluşturmanız gerekir. Sunucu yapılandırmalarınızın “norobots” dizini için bir dizin listesi oluşturmama konusunda net olması gerektiğini unutmayın.

Bu çok güvenli bir yaklaşım olmayabilir, çünkü sitenize saldıran kişi veya bot, dizinde bulunan dosyaları görüntüleyemese bile, “norobots” dizininiz olduğunu hala görebilir. Bununla birlikte, birileri web sitelerinde bu dosyalara bir bağlantı yayınlayabilir veya daha da kötüsü, halka halka açık bir günlük dosyasında (örneğin bir yönlendirici olarak bir web sunucusu kaydı) görünebilir. Bir sunucunun yanlış yapılandırılması da mümkündür, bu da bir dizin listesine neden olur.

Ne anlama geliyor? Robots.txt, bunun amaçlanmadığı basit bir nedenden dolayı erişimi kontrol etmenize yardımcı olamaz. İyi bir örnek “Giriş yok” dır. Talimatı ihlal etmeye devam edecek insanlar var.

Yalnızca yetkili kişilerce erişmek istediğiniz dosyalar varsa, sunucu yapılandırmaları kimlik doğrulamanıza yardımcı olur. Bir CMS kullanıyorsanız (İçerik Yönetim Sistemi), ayrı ayrı sayfalarda ve kaynak koleksiyonunda erişim kontrolleriniz vardır.

SEO için robots.txt dosyasını optimize edebilir misiniz?

Kesinlikle. Robots.txt dosyasının nasıl optimize edileceğine dair en iyi rehber site içeriğidir. Hızlı bir hatırlatma: Robots.txt, sayfaların arama motoru botları tarafından taranmasını engellemek için asla kullanılmamalıdır. Bunu, web sitenizin halka açık olmayan bölümlerini, örneğin wp-admin gibi giriş sayfalarını engellemek için kullanın.

Bu, Neil Patel’in giriş sayfalarının internet sitelerinden birinde giriş yapmasına izin vermeyen satırdır:

User-agent:*

Disallow:/wp-admin/

Allow:/wp-admin/admin-ajax.php

Giriş bilgilerinizin dizine eklenmesini engellemek için bu izin verme satırını kullanabilirsiniz.

Dizine alınmasını istemediğiniz bazı belirli sayfalar varsa, yukarıdakiyle aynı komutu kullanın. Bir örnek:

User-agent:*

Disallow:/page/

Eğik çizgiden sonra dizine eklenmesini istemediğiniz sayfayı belirtin ve başka bir eğik çizgiyle kapatın. Örneğin:

User-agent:*

Disallow:/page/thank-you/

Dizine eklenmek istemediğiniz sayfalardan bazıları nelerdir?

  • Kasıtlı olarak yinelenen içerik. Ne anlama geliyor? Bazen bilerek belirli bir amaca ulaşmak için kopya içerik oluşturursunuz. İyi bir örnek, belirli bir web sayfasının yazıcı dostu bir sürümüdür. Aynı içeriğin yazıcı dostu sürümünün dizinlenmesini engellemek için robots.txt dosyasını kullanabilirsiniz.
  • Teşekkürler sayfalar. Bu sayfanın dizine eklenmesini engellemenizin nedeni basit: Satış hunisinde son bir adım olması gerekiyordu. Ziyaretçileriniz bu sayfaya ulaştığında, tüm satış hunisinden geçmiş olmalılar. Bu sayfa dizine eklenirse, potansiyel müşterileri kaçırabileceğiniz veya yanlış potansiyel müşteriler alabileceğiniz anlamına gelir.

Böyle bir sayfayı engelleme komutu:

Disallow:/thank-you/

Noindex ve NoFollow yok

Bu makale boyunca söylediğimiz gibi, robots.txt dosyasını kullanmak sayfanızın dizine alınmayacağının% 100 garantisi değildir. Engellenen sayfanızın dizine eklenmemesini sağlamak için iki yola bakalım.

Noindex direktifi

Bu, disallow komutuyla birlikte çalışır. Her ikisini de direktifinizde kullanın:

Disallow:/thank-you/

Noindex:/thank-you/

Nofollow yönergesi

Bu, özellikle Google botlara bir sayfadaki bağlantıları taramaması talimatını vermek için çalışır. Bu robots.txt dosyasının bir parçası değil. Sayfaların taranmasını ve dizine eklenmesini engellemek için nofollow komutunu kullanmak için, dizine alınmasını istemediğiniz belirli bir sayfanın kaynak kodunu bulmanız gerekir.

Bunu, açılış ve kapanış başlığı etiketleri arasına yapıştırın:

<meta name = “robots” content=”nofollow”>

Hem “nofollow” hem de “noindex” i aynı anda kullanabilirsiniz. Bu kod satırını kullanın:

<meta name = “robots” content=”noindex,nofollow”>

Robots.txt dosyası oluşturuluyor

Anlamanız ve takip etmeniz gereken tüm gerekli biçimleri ve sözdizimini kullanarak robots.txt yazmayı zor bulursanız, işlemi basitleştiren araçlar kullanabilirsiniz. Bunun güzel bir örneği ücretsiz robots.txt jeneratörümüzdür .

free robots.txt generator
free robots.txt generator

Bu araç, web sitenizde ihtiyacınız olan sonucun türünü ve eklemek istediğiniz dosya veya dizinleri seçmenize olanak sağlar. Dosyanızı bile test edebilir ve rekabetinizin nasıl olduğunu görebilirsiniz.

Robots.txt dosyanızı test etme

Beklendiği gibi çalıştığından emin olmak için robots.txt dosyanızı sınamanız gerekir.

Google’ın robots.txt test cihazını kullanın.

Bunu yapmak için Web yöneticinizin hesabına giriş yapın.

  • Ardından mülkünüzü seçin. Bu durumda, web sitenizdir.
  • Sol kenar çubuğundaki “sürünme” ye tıklayın.
  • “Robots.txt tester” üzerine tıklayın.
  • Var olan herhangi bir kodu yeni robots.txt dosyanızla değiştirin.
  • “Test” i tıklayın.
Robots.txt Rehberi

Dosya geçerliyse, “izin verilen” metin kutusunu görebilmelisiniz. Daha fazla bilgi için, Google Robots.txt Test Cihazına yönelik bu ayrıntılı kılavuza göz atın .

Dosyanız geçerliyse, şimdi kök dizininize yükleme veya başka bir robots.txt dosyası varsa kaydetme zamanıdır.

WordPress sitenize robots.txt nasıl eklenir

WordPress dosyanıza bir robots.txt dosyası eklemek için eklenti ve FTP seçeneklerini ele alacağız.

Eklenti seçeneği için, All in One SEO Pack gibi bir eklenti kullanabilirsiniz.

Bunu yapmak için, WordPress panonuza giriş yapın

“Eklentilere” ulaşana kadar aşağı kaydırın

“Yeni ekle” ye tıklayın

“Arama eklentileri” ne gidin

“Hepsi Bir Arada SEO Paketi” yazın

Kur ve etkinleştir

Hepsi Bir Arada SEO eklentisinin Genel Ayar bölümünde, noindex ve nofollow kurallarını robots.txt dosyanıza eklenecek şekilde yapılandırabilirsiniz.

Robots.txt Rehberi

Hangi URL’lerin NOINDEX, NOFOLLOW olması gerektiğini belirleyebilirsiniz. Bu işaretlerin kaldırılması varsayılan olarak dizine eklenecek:

Robots.txt Rehberi

Robots.txt dosyanızda gelişmiş kurallar oluşturmak için, özellik yöneticisini ve ardından robots.txt dosyasının hemen altındaki etkinleştirme düğmesini tıklayın.

Robots.txt Rehberi

Robots.txt şimdi özellik yöneticisinin hemen altında görünüyor. Üstüne tıkla. “Bir robots.txt dosyası oluştur” adlı bir bölüm göreceksiniz.

Dizine almak istemediğiniz şeye bağlı olarak, siteniz için istediğiniz kuralları seçip doldurmanıza izin veren bir kural oluşturucu bölümü vardır.

Robots.txt Rehberi

Kural oluşturmayı tamamladığınızda “kural ekle” yi tıklayın.

Kural daha sonra oluşturulan robots.txt klasörü altında listelenir.

“Hepsi Bir Arada Seçeneklerin” güncellendiğini bildiren bir mesaj göreceksiniz.

Kullanabileceğiniz başka bir yöntem, robots.txt dosyanızı FileZilla gibi doğrudan FTP (Dosya Aktarım Protokolü) istemcinize yüklemektir.

Robots.txt dosyanızı oluşturduktan sonra, onu bulup değiştirebilirsiniz. Robots.txt dosyanız: “/ applications / [FOLDER NAME] / public_html.” İçinde

Wix’inizdeki robots.txt dosyasını nasıl düzenleyebilirim?

Wix, web oluşturma platformunu kullanan web siteleri için bir robots.txt dosyası oluşturur. Görmek için etki alanınıza “/robots.txt” ekleyin. Robots.txt dosyasına eklenen dosyalar Wix sitelerinin yapısı ile ilgilidir, örneğin Wix destekli sitenizin SEO değerine katkıda bulunmayan noflashhtml bağlantıları.

Siteniz Wix tarafından destekleniyorsa robots.txt dosyanızı düzenleyemezsiniz. Dizine alınmasını istemediğiniz sayfalara yalnızca “ noindex etiketi ” eklemek gibi diğer seçenekleri kullanabilirsiniz .

Belirli bir sayfa için noindex etiketi oluşturmak için:

  • Site Menüsüne tıklayın
  • İlgili sayfa için Ayar seçeneğine tıklayın
  • Seç SEO (Google) etiketi
  • Aç Bu sayfayı arama sonuçlarından gizle
Robots.txt Rehberi

Shopify’nızdaki robots.txt dosyasını nasıl düzenleyebilirim?

Tıpkı Wix’te olduğu gibi, Shopify otomatik olarak sitenize düzenlenemez bir robots.txt dosyası ekler. Bazı sayfaların dizine alınmasını istemiyorsanız, “noindex etiketi” eklemeniz veya sayfanın yayından kaldırmanız gerekir. Dizine alınmasını istemediğiniz sayfaların başlık bölümüne meta etiketler de ekleyebilirsiniz. Başlığınıza eklemeniz gereken şey bu:

<meta name= “robots” content = “noindex”>

Shopify , takip edebileceğiniz arama motorlarından sayfaların nasıl gizleneceğine dair kapsamlı bir rehber hazırladı .

Başka bir seçenek de Orbis Labs tarafından Sitemap & NoIndex Manager adlı bir uygulamayı indirmek . Shopify sitenizdeki her sayfa için noindex veya nofollow seçeneklerini kolayca kontrol edebilirsiniz:

Robots.txt Rehberi

kaynaklar;

Buğra Yazar

Startup WordPress Kurucusu. 2010 yılından bu yana çeşitli web projelerinde yer aldım. Kendimi SEO, WordPress Sosyal Medya ve Dijital Pazarlama alanlarında geliştirdim ve geliştirmeye devam ediyorum. SEO Uzmanı olarak Arama motoru optimizasyonu ve Dijital Pazarlama konularında hizmet vermekteyim. Bildiklerimi blogumda paylaşıyorum.

Benzer Yazılar

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

İlginizi Çekebilir

Kapalı
Başa dön tuşu
Kapalı