Robots.txt

Mehmet Ali Yassı

Robots.txt (robot exclusion protocol), arama motoru örümceklerinin bir web sitesinin belirli bir bölümüne erişimini engelleyen dosyadır.

Daha açık bir ifadeyle, içeriğinde komut barındıran bu mini metin dosyası ile hangi sayfaların indeks alıp almaması gerektiği konusunda arama motorlarına sinyaller verilir.

Robots.txt ile indekslenmiş bir sayfayı dizinden kaldıramazsınız. Sadece daha önce indekslenmemiş sayfaların dizine eklenmesini engelleyebilirsiniz.

👉 İndirim! Online Uygulamalı SEO Eğitimi Hakkında Hemen Bilgi Al

Robots.txt Dosyasının Önemi

Robots.txt dosyası, web sitesinin belirli alanlarına robot erişimini kontrol etmeye yarar.

Robot Dosyası

Kullanırken dikkatli olunması gerekir çünkü yapılacak ufak bir hata ile geri dönülmesi zor problemlere yol açabilirsiniz.

Peki robots.txt hangi amaçlarla kullanılıyor?

  • Kopya içeriklerin indekslenmesini engelleme.
  • Sitedeki tüm içeriklerin dizine engellenmesini engelleme.
  • Taranmasını istenmeyen görsellerin taranmasını engelleme.
  • Site haritasının adresini gösterme.
  • Site içi arama sayfalarının dizine eklenmesini engelleme.
  • Bazı dosya formatlarını (pdf, mp4 vs.) taramaya kapatma.
  • Aynı anda işlem yapan örümceklerin, sunucu kaynaklarını hızlı tüketmesini engellemek için gecikme süresi koyma.

Eğer amacının ziyaretçilerin belirli alanlara erişmesini engellemek ise bunu robots.txt aracılığıyla yapamazsınız.

👉 İndirim! Online Uygulamalı SEO Eğitimi Hakkında Hemen Bilgi Al

Bunların yanı sıra tarama bütçesini de maksimize edebilirsiniz. Eğer taranmasını istediğiniz sayfaların indeks süreleri uzunsa, tarama bütçesi problemi yaşıyor olabilirsiniz.

Önemsiz sayfalarını robots.txt aracılığıyla taramaya kapatarak, önem seviyesi daha yüksek olan sayfalara Googlebot’u yönlendirebilirsiniz.

Robots.txt Dosyası Nerede Bulunur?

Robots.txt dosyasına sahip olup olmadığını bilmiyor musunuz?

👉 İndirim! Online Uygulamalı SEO Eğitimi Hakkında Hemen Bilgi Al

Çok basit bir yolu var.

  1. Site adresini tarayıcının adres kısmına yaz,
  2. Yanına /robots.txt ekle.

Örneğin; site adresi https://siteadi.com olsun. Hemen tarayıcıdan https://siteadi.com/robots.txt adresine gidip kontrol işlemi yapılabilir. Eğer ekrana kodların bulunduğu bir txt dosyası gelmiyorsa siteye ait bir robots.txt dosyası bulunmuyor demektir.

SEOtrio Robots Dosyası

Bu yöntemle büyük sitelerin robots.txt dosyalarını nasıl kullandığınızı analiz edebilirsiniz.

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyasını oluşturmak için basit birkaç syntax ve format kuralını bilmek yeterli.

Bu kurallara uyarak herhangi bir metin editörü ile robots.txt oluşturabilirsiniz. Bu editörlerin ASCII ya da UTF-8 formatında kayıt yapabiliyor olmasına dikkat edin.

Word gibi metin işlemcilerini kullanmak bu açıdan biraz tehlikeli olabiliyor. Buradaki yazı formatlarını eğer örümcekler tanımlayamazlarsa, yazılan kodlar da boşa gidebiliyor.

Ayrıca Google’ın bu rehberini okumanızda fayda var: https://developers.google.com/search/docs/advanced/robots/create-robots-txt

Robots.txt Komutları

Robots.txt dosyasının kendine has bir dili var. Toplamda 5 farklı komut bulunuyor.

  • User-agent: Belli bir arama motoru örümceğine verilecek talimat için kullanılacak komuttur. Bu adresten listenin tamamına ulaşılabilir: http://www.robotstxt.org/db.html
    Örnek kullanım: User-agent: Googlebot Disallow: /​
  • Disallow: Bu komut ile user-agent’a spesifik bir URL’i taramaması söylenir. Her bir URL için ayrı bir “Disallow:” kullanılmalıdır.
  • Allow: Googlebot’a, üst sayfasına veya alt klasörüne izin verilmese bile bir sayfaya veya alt klasöre erişebileceğini söyleyen komut. Sadece Googlebot anlayabilir.
  • Crawl-delay: Bir örümceğin, sayfa içeriğini taramadan önce kaç saniye beklemesi gerektiğini söyleyen komuttur. Googlebot’un bu komutu anlamadığını, ancak tarama hızının Google Search Console’dan ayarlanabileceğini unutmayın.
  • Sitemap: Siteye ait XML site haritasının adresini belirtmek için kullanılır. Yalnızca Google, Ask, Bing ve Yahoo tarafından desteklenir.
    Kurallar büyük/küçük harfe duyarlıdır. Örneğin:
    disallow: /file.asp komutu, https://www.orneksite.com/file.asp için geçerlidir, ancak https://www.example.com/FILE.asp için geçerli bir komut değildir.

Robots.txt Dosyalarını Google’a Gönderme

Robots.txt dosyanızı yükleyip test etmenizin ardından, Google’ın tarayıcıları robots.txt dosyanızı otomatik olarak bulup kullanmaya başlar. Herhangi bir işlem yapmanız gerekmez.

Robots.txt Dosya Boyutu

Google sadece 500 kilobayt altındaki robots.txt dosyalarını okuyabiliyor. Maksimum boyutun üstündeki komut dosyaları maalesef dikkate alınmıyor.

Diğer arama motorlarının desteklediği maksimum dosya boyutu için resmi bir açıklama bulunmuyor.

Kullanım Örnekleri

Tüm içerikleri tüm örümceklerden gizleme:

User-agent: *
Disallow: /

Tüm botlara bütün site içeriğinin erişimini açma:

User-agent: *
Allow: /

Sadece spesifik bir bota spesifik bir dizini gizleme:

User-agent: Googlebot
Disallow: /ornek-alt-yol/

Sadece spesifik bir bota spesifik bir sayfayı gizleme:

User-agent: Bingbot
Disallow: /ornek-kategori/ornek-sayfa.html

Tüm örümceklere belli bir dosyaya erişim iznini kısıtlama:

User-agent: *
Disallow: /dizin/ornek.pdf

Kullanım Kuralları

  • Robots.txt dosyası sitenin ana dizininde bulunmalıdır. Örneğin, https://orneksite.com/robots.txt
  • Alt kategoride robots.txt bulunmamalıdır ancak her bir subdomain için ayrı dosyalar olabilir. Örneğin, https://subdomain.orneksite.com/robots.txt
  • Alt dizinlerde robots.txt bulunamaz. Örneğin, https://orneksite.com/dizin/robots.txt
  • Robots.txt dosyasının adı tamamen küçük harflerle yazılmalıdır: “robots.txt”.
  • Her bir sitede yalnızca bir adet olmalıdır.
  • Eğer bir web sitesinde robots.txt dosyası bulunmuyorsa, arama motorları ilgili sitedeki tüm içeriklerin dizine eklenmeye açık olduğunu düşünür.

Robots.txt Test Aracı

Google’a ait Robots.txt Test Aracı ile dosyanın doğru çalışıp çalışmadığını test edebilirsiniz: https://support.google.com/webmasters/answer/6062598?hl=tr

Özetle

Robots.txt dosyası arama motorları örümceklerinin sitenizin belli bir alanına erişimini engellemeye yarar. Özellikle bazı hassas ve özel içeriklerin, bu dosya aracılığıyla arama motorlarının sonuç sayfalarında listelenmemesini isteyebilirsiniz.

Kısaca, bu dosya sayfalarınızın dizine eklenip eklenmeyeceğini belirttiğiniz efsane bir araçtır.

Robots.txt basit ama güçlüdür. Akıllıca kullanıp SEO performansınızı yukarılara taşıyabilirsiniz.

YAZAR HAKKINDA

Mehmet Ali Yassı

SEO Eğitmeni ve Danışmanı

Mehmet Ali, yıllardır bulunduğu internet sektöründe birçok projede deneyim kazanarak bugüne geldi. Bu yolda öğrendiği tüm dersleri başkalarına da öğretebilmek için Seotrio markasını kurdu. Seotrio kurulduğundan beri, yüzlerce insanın çevrimiçi işlerini büyütmek için yeni stratejiler geliştirdi ve eğitimler verdi.