Tarama Bütçesi

Mehmet Ali Yassı

Tarama bütçesi (Crawl Budget), belirli bir zaman aralığında siteye gelen arama motoru botlarının indekslemek için taradığı sayfa sayıdır.

Tarama bütçesinin detayları ve nasıl optimize edileceği konusuna girmeden önce arama motorlarının nasıl çalıştığını bilmek gerekir.

Google’a göre, tarama işlemi üç aşamadan oluşuyor: tarama, indeksleme ve sıralama.

👉 İndirim! Online Uygulamalı SEO Eğitimi Hakkında Hemen Bilgi Al

Yani sıralamayı etkileyecek bu yolculuğun başlangıç noktası tarama kısmıdır.

Eğer ilk adımdaki optimizasyon doğru sağlanmazsa, arama motoru örümcekleri web sitesinin sayfalarını verimli olarak tarayamaz ve SEO performansının düşmesine neden olur.

Çünkü, arama motorları gün içerisinde milyarlarca web sayfasını taradığından dolayı, kendi kaynaklarını da doğru noktalarda harcamak için çaba gösterirler. Google dahil hiçbir arama motorunun sınırsız kaynağı yoktur.

Bu nedenle, taranacak sayfaları ve siteleri önceliklendirme yoluna başvururlar.

👉 İndirim! Online Uygulamalı SEO Eğitimi Hakkında Hemen Bilgi Al

Tarama Bütçesi Sadece Web Sayfalarını Mı Tarar?

Hayır. Server’da bulunan her türlü dosya, yani Javascript, HTML ya da PDF dosyalarının varlığı da tarama bütçesini etkiler.

Neden Önemlidir?

Bir web sitesinin önemli sayfalarının hangileri olduğunun bilinmesi, buna göre hızlı bir şekilde indekslenmesi oldukça önemlidir.

Yeni bir içerik yayımlandığında ya da eski içeriklerden birisi güncellendiğinde, bunun SERP’te hemen görünmesi istenir.

👉 İndirim! Online Uygulamalı SEO Eğitimi Hakkında Hemen Bilgi Al
Tarama Bütçesi

Eğer tarama bütçesi optimizasyonu doğru yapılmamış ise, örümcekler önemsiz sayfaları tararken zaman kaybedecek ve öncelikli sayfaları incelemeden siteden ayrılacaklardır.

Tarama Bütçesi Bir Sıralama Faktörü Müdür?

Hayır. Tarama bütçesinin fazla olması ya da sayfa tarama oranının yüksek olması sıralamalara etki etmez.

Google yüzlerce farklı sinyali sıralama faktörü olarak kullanır ancak tarama işlemi sadece arama sonuç sayfasında çıkmak için gereklidir. Sıralama faktörü değildir.

Bir Sitenin Tarama Bütçesi Nasıl Öğrenilir?

Bunun için iki ana yol mevcut.

1. Google Search Console

Google bu konuda gayet açık davranıyor. Eğer bir web sitesi Google’ın bu ücretsiz servisine kayıtlı ise tarama bütçesi hakkında detaylı veriler elde etmek mümkündür.

Search Console üzerinden tarama istatistiklerini görmek için:

  1. Hesaba giriş yapıp, doğru mülkü seçin.
  2. Ayarlar sayfasından Tarama > Tarama İstatistikleri > Raporu Aç adımlarını takip edin.
GSC Tarama İstatistikleri

Buradaki rakamlar belli bir zaman aralığında Google’ın bu mülkte ne kadar tarama yaptığını gösteren verilerdir.

2. Log Dosyaları

Hosting dosyaları içerisinde bulunan log dosyalarını inceleyerek, arama motorları ziyaretlerinin tüm detayları görülebilir.

Bir server log dosyası aşağıdaki verileri içerir:

  • Site ne sıklıkla taranıyor?
  • Botların en sık ziyaret ettiği sayfalar neler?
  • Sitede ne gibi hatalarla karşılaşılıyor?

Ham bir log dosyasını incelemek oldukça karışık bir işlem olduğu için buna özel masaüstü yazılımlar geliştirilmiştir. Screaming Frog Log File Analyzer kullanarak, tarama bütçesi ile ilgili tüm ziyaretler, istatistikler ve hatalar rapor şeklinde incelenebilir.

Arama Motorlarının Tarama Kimlikleri

Bir arama motoru siteyi ziyaret ettiğinde, arkada bir kimlik bilgisi (user agent) bırakır ve bu log kaydına işlenir.

En bilinen arama motorlarının user agent bilgileri şunlardır:

Googlebot User Agent
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Bingbot User Agent
Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)

Baidu User Agent
Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)

Yandex User Agent
Mozilla/5.0 (compatible; YandexBot/3.0; +https://yandex.com/bots)

Nasıl Optimize Edilir?

Tarama bütçesinin düşük olmasının birden fazla nedeni olabilir. Bu nedenle her ihtimalin ayrı ayrı incelenip, ortaya çıkan sonuçlara göre aksiyon alınması gereklidir.

1. Kopya İçerik (Duplicate Content)

Kopya içerik ya da eşleşen içerikler varsa, tarama bütçesi her birisi için ayrı ayrı harcanır. Sitedeki aynı sayfaların ortadan kaldırılması ya da en azından azaltılması gereklidir.

2. Düşük Kaliteli Sayfalar

Kullanıcıya bir değer sağlamayan sayfalar arama motorları için de önemsizdir.

Kaliteli vs Zayıf İçerik

Düzenli aralıklarla içerik temizleme işlemi yaparak bu türden sayfaların temizlenmesi gerekir.

3. Hatalı Linkler

Kırık linkler ya da gereksiz yere yönlendirme yapan linkler tarama bütçesini olumsuz etkiler.

Dolayısıyla Screaming Frog ya da ahrefs gibi bir premium SEO aracı ile bu türden linklerin temizlenmesi önemlidir.

4. Site Haritası Hataları

Eğer site haritasında hatalı bir link bulunuyorsa bu tarama bütçesinin boş yere harcanması anlamına gelmektedir.

Site haritası hatasını Google Search Console ile kontrol etmek için:

  1. Search Console hesabına girip doğru mülkü seçin.
  2. Dizin > Site Haritaları sayfasındaki Durum kolonunu kontrol edin.

5. Site Hızı

Eğer sitenin sayfa açılış hızı düşükse, arama motorları o siteye ayrılan tarama bütçesi dahilinde daha az sayfayı ziyaret edecektir.

Eğer sayfa açılış hızı 2 saniyeden fazla ise ortada büyük bir problem vardır. İdeal olanı, her sayfanın 1 saniyenin altından açılış hızına sahip olmasıdır.

Hızlı vs Yavaş Site

Sayfa açılış hızları ile ilgili detaylı bilgi Google Analytics’in site hızı raporundan ve Google Search Console’un tarama istatistikleri raporunlar okunabilir.

6. Engellenen Sayfalar

Eğer arama motorlarının sitenizin belli bir bölümünü taramasını istemiyorsanız, robots.txt dosyası aracılığıyla bu engellemeyi yaparak tarama bütçesinin boş yere harcanmasının önüne geçebilirsiniz.

7. İndekslenemeyen Sayfalar

Eğer bir web sitesinde, çok fazla oranda indeksi mümkün olmayan sayfa varsa tarama bütçesi olumsuz etkilenecektir.

İndekse kapalı sayfa örnekleri:

  • Yönlendirilen sayfalar (3XX)
  • Bulunamayan sayfalar (4XX)
  • Server hataları (5XX)
  • Kanonik veya noindex etiketine sahip sayfalar

8. Kötü Mimari

Sayfalar arasında yapılan linkleme tarama bütçesine doğrudan etki eder.

Site Mimarisi

İç link yapısı doğru şekilde tasarlanmayan web sitelerinin içerik haritası çıkarılarak yeniden gözden geçirilmesi gerekir.

Ayrıca, başka sitelerden aldığı backlink profili güçlü olan sitelerin tarama bütçeleri diğerlerine göre daha fazladır.

9. URL Parametreleri

Link yapısında parametre kullanan sitelerin, hem tarama bütçelerini doğru harcatması hem de kopya içerik probleminden kaçınması için bu durumu Search Console yardımıyla Google tarafına bildirmesi önemlidir.

URL Parametreleri

Özetle

Google’da iyi sıralama etmek için ilk adım olan tarama bütçesi iyi optimize optimize edilmelidir.

Bunun için teknik anlamda sitenin tüm yapısı gözden geçirilmesi ve server log kayıtları doğru bir şekilde analiz edilmelidir.

YAZAR HAKKINDA

Mehmet Ali Yassı

SEO Eğitmeni ve Danışmanı

Mehmet Ali, yıllardır bulunduğu internet sektöründe birçok projede deneyim kazanarak bugüne geldi. Bu yolda öğrendiği tüm dersleri başkalarına da öğretebilmek için Seotrio markasını kurdu. Seotrio kurulduğundan beri, yüzlerce insanın çevrimiçi işlerini büyütmek için yeni stratejiler geliştirdi ve eğitimler verdi.