Özet
- Web sitesi tarama denetimi, Googlebot'un önemli URL'leri keşfedip güvenilir biçimde tarayıp tarayamadığını kontrol eder.
- robots.txt, HTTP erişimi, iç tarama yolları, XML site haritası, JavaScript bağlantıları, parametreler, crawl trap ve log verilerini birlikte değerlendirin.
- Taranabilirlik, arama motoru sürecinin ilk teknik kapısıdır.
Taranabilirlik, arama motoru sürecinin ilk teknik kapısıdır. Googlebot önemli bir URL'yi güvenilir biçimde keşfedemiyor veya isteyemiyorsa indekslenebilirlik, canonical seçimi ve sıralama gibi sonraki konular ikincil kalır.
Web sitesi tarama denetiminin tek ve net sorusu şudur: arama motorları önemli sayfalara stabil ve crawlable yollar üzerinden ulaşabiliyor mu? Bu çalışma genel Teknik SEO denetimi değildir ve indekslenebilirlik denetimiyle karıştırılmamalıdır.
Tarama Denetimi Nedir?
Tarama denetimi, arama motoru botlarının URL'leri nasıl keşfettiğini ve bu URL'lere erişip erişemediğini inceler. Kanıt kaynakları genellikle Screaming Frog gibi bir crawler, robots.txt, XML site haritaları, HTTP yanıtları, iç bağlantı verileri, JavaScript render kontrolleri ve mümkünse sunucu loglarıdır.
Googlebot Hangi URL'leri Tarayabilmelidir?
Öncelikli URL envanterini belirleyin: ana sayfa, temel hizmet veya ürün sayfaları, önemli kategori/koleksiyonlar, değerli içerikler ve organik aramada görünmesini istediğiniz diğer URL'ler. Hesap alanları, site içi arama sonuçları veya düşük değerli filtre kombinasyonları ise bilinçli olarak kısıtlanabilir.
robots.txt ve Tarama Kısıtları Nasıl Kontrol Edilir?
robots.txt içinde geniş Disallow kurallarını, staging ortamından kalan engelleri ve canlı sitenin önemli bölümlerini yanlışlıkla bloklayan pattern'leri kontrol edin. Render için gerekli CSS, JavaScript, görsel veya API kaynaklarının erişilebilir olup olmadığını da inceleyin. robots.txt indeks kontrolü değil, tarama kontrolüdür.
Asıl soru sayfanın dizine eklenebilirliği ise sonraki adım web sitesi indekslenebilirlik denetimi olmalıdır.
HTTP, Sunucu ve DNS Kaynaklı Tarama Hataları Nasıl Bulunur?
Önemli URL'leri tarayın ve 200 dışındaki yanıtları gruplayın. Tekrarlayan 5xx hataları, DNS sorunları, timeout, 403 yanıtları, redirect loop veya dönemsel sunucu problemleri Googlebot erişimini bozabilir.
İç Tarama Yolları ve Yetim URL'ler Nasıl Denetlenir?
Crawler verisini sitemap, analytics landing page'leri veya CMS export ile karşılaştırarak site içinde crawlable link almayan önemli URL'leri bulun. Crawl depth'i de değerlendirin; ticari açıdan önemli sayfaların mantıksal hub'dan gereksiz derecede uzakta kalması incelenmelidir.
Sorun daha çok site mimarisi ise iç bağlantı denetimi ile yetim sayfa, tıklama derinliği, inlink ve link bağlamını analiz edin.
Filtre, Parametre ve Crawl Trap Sorunları Nasıl Bulunur?
Faceted navigation, sıralama ve tracking parametreleri, takvim yapıları, session ID'leri ve dinamik kombinasyonlar çok geniş URL alanları yaratabilir. Her parametreyi otomatik engellemek yerine, arama değeri taşımayan URL pattern'lerinin crawler dikkatini gereksiz tüketip tüketmediğini belirleyin.
XML Site Haritası ve Taranabilir Bağlantılar Nasıl Kontrol Edilir?
Temiz bir XML site haritası tercih edilen ve önemli URL'leri içermelidir. Sitemap ile crawl çıktısını karşılaştırın: sitemap URL'leri site içinden ulaşılabilir mi ve önemli URL'ler tercih edilen versiyonlarıyla mı temsil ediliyor? Sitemap keşfi destekler ama kritik içerik için tek yol olmamalıdır.
Log ve Crawler Verisiyle Googlebot Erişimi Nasıl Doğrulanır?
Crawler audit aracınızın hangi URL'lere erişebildiğini, sunucu logları ise Googlebot'un gerçekte hangi URL'leri istediğini gösterebilir. Büyük sitelerde iki veri kaynağını karşılaştırarak mimaride var olan ama gerçek Googlebot aktivitesi düşük olan bölümleri bulun. Ayrıntılı değerlendirme için Keşfedildi - şu anda dizine eklenmiş değil rehberini inceleyin.
Tarama Sorunları Nasıl Önceliklendirilir?
Önceliği iş değeri, etkilenen URL sayısı ve teknik şiddete göre verin. Bir ürün kategorisini bloklayan robots.txt kuralı, düşük değerli bir parametre URL'sinden daha önemlidir. Düzeltme sonrası ilgili pattern'leri yeniden crawl edin ve doğrudan, stabil erişimi doğrulayın.
Daha geniş teşhis için Google indeksleme sorunları cluster'ındaki ilgili rehberleri kullanın.
Sonuç
Tarama denetimi sonunda hangi önemli URL'lere Googlebot'un erişebildiğini, hangi engellerin erişimi bozduğunu ve hangi tarama yollarının değişmesi gerektiğini açıklayabilmelisiniz. Canonical ve indeks kararlarını ayrı indekslenebilirlik katmanında ele alın.
Sık Sorulan Sorular
Taranabilirlik ile indekslenebilirlik aynı şey mi?
Hayır. Taranabilirlik Googlebot'un URL'ye erişebilmesidir. İndekslenebilirlik ise URL'nin dizine eklenmeye teknik olarak uygun olup olmadığıdır.
Bir sayfa sitemap'te olup yine de zor taranabilir mi?
Evet. Sitemap URL'yi gösterebilir; ancak zayıf iç linkler, sunucu hataları, bloklanan kaynaklar veya crawl trap yapıları tarama koşullarını bozabilir.
Her URL taranabilir olmalı mı?
Hayır. Amaç önemli URL'leri güvenilir biçimde taranabilir kılmak, gereksiz ve düşük değerli URL alanlarını ise kontrollü yönetmektir.
