Tarama bütçesi (Crawl Budget), belirli bir zaman aralığında siteye gelen arama motoru botlarının indekslemek için taradığı sayfa sayıdır.
Tarama bütçesinin detayları ve nasıl optimize edileceği konusuna girmeden önce arama motorlarının nasıl çalıştığını bilmek gerekir.
Google’a göre, tarama işlemi üç aşamadan oluşuyor: tarama, indeksleme ve sıralama.
Yani sıralamayı etkileyecek bu yolculuğun başlangıç noktası tarama kısmıdır.
Eğer ilk adımdaki optimizasyon doğru sağlanmazsa, arama motoru örümcekleri web sitesinin sayfalarını verimli olarak tarayamaz ve SEO performansının düşmesine neden olur.
Çünkü, arama motorları gün içerisinde milyarlarca web sayfasını taradığından dolayı, kendi kaynaklarını da doğru noktalarda harcamak için çaba gösterirler. Google dahil hiçbir arama motorunun sınırsız kaynağı yoktur.
Bu nedenle, taranacak sayfaları ve siteleri önceliklendirme yoluna başvururlar.
Tarama Bütçesi Sadece Web Sayfalarını Mı Tarar?
Hayır. Server’da bulunan her türlü dosya, yani Javascript, HTML ya da PDF dosyalarının varlığı da tarama bütçesini etkiler.
Neden Önemlidir?
Bir web sitesinin önemli sayfalarının hangileri olduğunun bilinmesi, buna göre hızlı bir şekilde indekslenmesi oldukça önemlidir.
Yeni bir içerik yayımlandığında ya da eski içeriklerden birisi güncellendiğinde, bunun SERP’te hemen görünmesi istenir.
Eğer tarama bütçesi optimizasyonu doğru yapılmamış ise, örümcekler önemsiz sayfaları tararken zaman kaybedecek ve öncelikli sayfaları incelemeden siteden ayrılacaklardır.
Tarama Bütçesi Bir Sıralama Faktörü Müdür?
Hayır. Tarama bütçesinin fazla olması ya da sayfa tarama oranının yüksek olması sıralamalara etki etmez.
Google yüzlerce farklı sinyali sıralama faktörü olarak kullanır ancak tarama işlemi sadece arama sonuç sayfasında çıkmak için gereklidir. Sıralama faktörü değildir.
Bir Sitenin Tarama Bütçesi Nasıl Öğrenilir?
Bunun için iki ana yol mevcut.
1. Google Search Console
Google bu konuda gayet açık davranıyor. Eğer bir web sitesi Google’ın bu ücretsiz servisine kayıtlı ise tarama bütçesi hakkında detaylı veriler elde etmek mümkündür.
Search Console üzerinden tarama istatistiklerini görmek için:
- Hesaba giriş yapıp, doğru mülkü seçin.
- Ayarlar sayfasından Tarama > Tarama İstatistikleri > Raporu Aç adımlarını takip edin.
Buradaki rakamlar belli bir zaman aralığında Google’ın bu mülkte ne kadar tarama yaptığını gösteren verilerdir.
2. Log Dosyaları
Hosting dosyaları içerisinde bulunan log dosyalarını inceleyerek, arama motorları ziyaretlerinin tüm detayları görülebilir.
Bir server log dosyası aşağıdaki verileri içerir:
- Site ne sıklıkla taranıyor?
- Botların en sık ziyaret ettiği sayfalar neler?
- Sitede ne gibi hatalarla karşılaşılıyor?
Ham bir log dosyasını incelemek oldukça karışık bir işlem olduğu için buna özel masaüstü yazılımlar geliştirilmiştir. Screaming Frog Log File Analyzer kullanarak, tarama bütçesi ile ilgili tüm ziyaretler, istatistikler ve hatalar rapor şeklinde incelenebilir.
Arama Motorlarının Tarama Kimlikleri
Bir arama motoru siteyi ziyaret ettiğinde, arkada bir kimlik bilgisi (user agent) bırakır ve bu log kaydına işlenir.
En bilinen arama motorlarının user agent bilgileri şunlardır:
Googlebot User Agent
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Bingbot User Agent
Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)
Baidu User Agent
Mozilla/5.0 (compatible; Baiduspider/2.0; +https://www.baidu.com/search/spider.html)
Yandex User Agent
Mozilla/5.0 (compatible; YandexBot/3.0; +https://yandex.com/bots)Nasıl Optimize Edilir?
Tarama bütçesinin düşük olmasının birden fazla nedeni olabilir. Bu nedenle her ihtimalin ayrı ayrı incelenip, ortaya çıkan sonuçlara göre aksiyon alınması gereklidir.
1. Kopya İçerik (Duplicate Content)
Kopya içerik ya da eşleşen içerikler varsa, tarama bütçesi her birisi için ayrı ayrı harcanır. Sitedeki aynı sayfaların ortadan kaldırılması ya da en azından azaltılması gereklidir.
2. Düşük Kaliteli Sayfalar
Kullanıcıya bir değer sağlamayan sayfalar arama motorları için de önemsizdir.
Düzenli aralıklarla içerik temizleme işlemi yaparak bu türden sayfaların temizlenmesi gerekir.
3. Hatalı Linkler
Kırık linkler ya da gereksiz yere yönlendirme yapan linkler tarama bütçesini olumsuz etkiler.
Dolayısıyla Screaming Frog ya da ahrefs gibi bir premium SEO aracı ile bu türden linklerin temizlenmesi önemlidir.
4. Site Haritası Hataları
Eğer site haritasında hatalı bir link bulunuyorsa bu tarama bütçesinin boş yere harcanması anlamına gelmektedir.
Site haritası hatasını Google Search Console ile kontrol etmek için:
- Search Console hesabına girip doğru mülkü seçin.
- Dizin > Site Haritaları sayfasındaki Durum kolonunu kontrol edin.
5. Site Hızı
Eğer sitenin sayfa açılış hızı düşükse, arama motorları o siteye ayrılan tarama bütçesi dahilinde daha az sayfayı ziyaret edecektir.
Eğer sayfa açılış hızı 2 saniyeden fazla ise ortada büyük bir problem vardır. İdeal olanı, her sayfanın 1 saniyenin altından açılış hızına sahip olmasıdır.
Sayfa açılış hızları ile ilgili detaylı bilgi Google Analytics’in site hızı raporundan ve Google Search Console’un tarama istatistikleri raporunlar okunabilir.
6. Engellenen Sayfalar
Eğer arama motorlarının sitenizin belli bir bölümünü taramasını istemiyorsanız, robots.txt dosyası aracılığıyla bu engellemeyi yaparak tarama bütçesinin boş yere harcanmasının önüne geçebilirsiniz.
7. İndekslenemeyen Sayfalar
Eğer bir web sitesinde, çok fazla oranda indeksi mümkün olmayan sayfa varsa tarama bütçesi olumsuz etkilenecektir.
İndekse kapalı sayfa örnekleri:
- Yönlendirilen sayfalar (3XX)
- Bulunamayan sayfalar (4XX)
- Server hataları (5XX)
- Kanonik veya noindex etiketine sahip sayfalar
8. Kötü Mimari
Sayfalar arasında yapılan linkleme tarama bütçesine doğrudan etki eder.
İç link yapısı doğru şekilde tasarlanmayan web sitelerinin içerik haritası çıkarılarak yeniden gözden geçirilmesi gerekir.
Ayrıca, başka sitelerden aldığı backlink profili güçlü olan sitelerin tarama bütçeleri diğerlerine göre daha fazladır.
9. URL Parametreleri
Link yapısında parametre kullanan sitelerin, hem tarama bütçelerini doğru harcatması hem de kopya içerik probleminden kaçınması için bu durumu Search Console yardımıyla Google tarafına bildirmesi önemlidir.
Özetle
Google’da iyi sıralama etmek için ilk adım olan tarama bütçesi iyi optimize optimize edilmelidir.
Bunun için teknik anlamda sitenin tüm yapısı gözden geçirilmesi ve server log kayıtları doğru bir şekilde analiz edilmelidir.