Site haritası arama motoruna hangi sayfaların var olduğunu söyler; robots.txt nereye girip nereye giremeyeceğini söyler. İkisi farklı işler yapar ve sık karıştırılır.
Site haritası ne yapar?
Sitenizdeki önemli sayfaların listesini XML biçiminde sunar. Arama motoru botu bu listeyi okuyup sayfaları keşfeder.
Site haritası olmadan da sayfalar bulunabilir; bot bağlantıları takip ederek gezinir. Ancak yeni sitelerde, derin sayfalarda ve az iç bağlantı alan içeriklerde site haritası keşfi belirgin biçimde hızlandırır.
Neler yer almalı?
- Dizine girmesini istediğiniz tüm sayfalar
- Kanonik adresler — yönlendirilen değil
- Son güncelleme tarihi
Neler yer almamalı: yönlendirilen adresler, dizine kapatılmış sayfalar, 404 veren adresler, parametreli varyasyonlar ve düşük değerli etiket sayfaları.
Site haritasında var olup dizine kapatılmış bir sayfa çelişkili sinyal üretir. Bu tutarsızlık Search Console’da uyarı olarak görünür.
Dinamik üretim şart
Elle hazırlanan site haritası içerik eklendikçe eskir. Yeni yazı yayınlandığında haritaya girmemiş olur.
Doğru yaklaşım haritayı veritabanından dinamik üretmektir. Yeni içerik eklendiğinde harita da kendiliğinden güncellenir, bakım gerektirmez. Son güncelleme tarihi de gerçek düzenleme tarihinden alınmalıdır; her sayfaya bugünün tarihini yazmak güven kaybettirir.
Kaç sayfa sığar?
Tek dosyada elli bin adres ve sıkıştırılmamış hâlde belirli bir boyut sınırı vardır. Büyük sitelerde harita bölünür ve bir dizin dosyasıyla birleştirilir.
Çoğu kurumsal site bu sınıra yaklaşmaz. Ancak ürün sayısı yüksek e-ticarette bölme gerekebilir; o durumda kategori bazında ayrı haritalar üretmek yönetimi kolaylaştırır.
robots.txt ne yapar?
Sitenin kök dizininde duran düz metin dosyasıdır. Hangi botun hangi dizine girebileceğini belirtir.
Önemli bir ayrım var: robots.txt taramayı engeller, dizine eklemeyi değil. Başka sitelerden bağlantı alan bir sayfa, taranmasa bile arama sonuçlarında görünebilir. Bir sayfayı dizinden çıkarmak istiyorsanız engelleme etiketi kullanmalısınız.
Ne engellenmeli?
- Yönetim paneli dizinleri
- Site içi arama sonuç sayfaları
- Sepet ve hesap sayfaları
- Test ve geliştirme dizinleri
- Değer üretmeyen parametreli adresler
Engellenmemesi gerekenler de var: CSS ve JavaScript dosyaları. Bunlar engellendiğinde Google sayfayı doğru render edemez ve mobil uyum değerlendirmesi bozulur. Eski robots.txt dosyalarında bu hata sık görülür.
Sık yapılan hatalar
En tehlikelisi geliştirme ortamından kalan tam engelleme kuralıdır. Site yayına alınırken bu kural kaldırılmazsa hiçbir sayfa taranmaz.
İkinci sık hata, geniş yazılmış kuralların istenmeyen dizinleri de kapsamasıdır. Kural yazdıktan sonra Search Console’un test aracıyla doğrulamak gerekir; belirli bir adresin engellenip engellenmediğini tek tıkla gösterir.
Site haritası nereye bildirilir?
Search Console’daki site haritaları bölümüne eklenir. Ayrıca robots.txt içine harita adresini yazmak, diğer arama motorlarının da bulmasını sağlar.
Ekledikten sonra rapor kaç adres gönderildiğini ve kaçının dizine eklendiğini gösterir. İki rakam arasında büyük fark varsa incelenmesi gerekir; bu genelde içerik kalitesi veya kanonik sorununa işaret eder.
İkisi arasındaki fark neden karıştırılıyor?
Her ikisi de arama motoruyla iletişim kurar ama ters yönde çalışır. Site haritası davet eder, robots.txt sınır çizer.
Bir sayfayı hem site haritasına koyup hem robots.txt ile engellemek çelişkili sinyaldir. Bu tutarsızlık Search Console’da uyarı üretir ve taramayı verimsizleştirir.
Tarama bütçesi meselesi
Google her siteye sınırsız kaynak ayırmaz. Botun belirli sürede tarayacağı sayfa sayısı sınırlıdır.
Küçük sitelerde bu sorun olmaz. Binlerce sayfalı e-ticaret sitelerinde ise belirleyici hâle gelir: bütçe değersiz sayfalarda harcandığında önemli sayfalar geç taranır. Filtre kombinasyonları, arama sonuç sayfaları ve boş etiket sayfaları bu israfın başlıca kaynaklarıdır.
Gönderilen ve dizine eklenen farkı
Search Console site haritası raporu iki rakam gösterir: gönderilen adres sayısı ve dizine eklenen. Aralarında fark olması normaldir ama büyük fark incelenmelidir.
En sık sebepler: içerik yetersizliği, kanonik çakışması, engelleme etiketi ve yinelenen sayfalar. Sayfa raporundaki gerekçe listesi bu ayrımı sayfa bazında gösterir.
Ne sıklıkla kontrol edilmeli?
Ayda bir yeterlidir. Bunun dışında site yenileme, yeni bölüm ekleme ve altyapı değişikliği sonrasında mutlaka bakılmalıdır.
Dizine eklenen sayfa sayısında ani düşüş, teknik bir sorunun en erken işaretidir; erken yakalandığında çözümü kolaydır.
Özet
Site haritası hangi sayfaların var olduğunu söyler, robots.txt nereye girilebileceğini. İkisi ters yönde çalışır ve çelişmemelidir. Harita dinamik üretilmeli, yalnızca kanonik ve dizine açık adresleri içermelidir. robots.txt taramayı engeller ama dizine eklemeyi engellemez; bunun için engelleme etiketi gerekir. CSS ve JavaScript dosyaları asla engellenmemelidir.
Birden çok site haritası
Büyük sitelerde tek dosya yerine türe göre ayrı haritalar üretmek yönetimi kolaylaştırır: ürünler, kategoriler, blog yazıları ve kurumsal sayfalar ayrı ayrı.
Bu yapıda bir dizin dosyası tüm haritaları listeler ve Search Console’a yalnızca o gönderilir. Ayrıca hangi içerik türünde dizine ekleme sorunu olduğunu görmek de kolaylaşır; rapor tür bazında okunabilir hâle gelir.
Haber ve görsel haritaları
Standart harita dışında özel türler de vardır. Görsel açısından zengin sitelerde görsel etiketleri eklemek keşfi kolaylaştırır.
Bunlar çoğu kurumsal site için gerekli değildir. E-ticaret, portföy ve yayıncılık sitelerinde değerlendirilebilir; standart bir hizmet sitesinde ek yük getirmekten öteye gitmez.
Sık sorulan sorular
Site haritası sıralamayı yükseltir mi?
Doğrudan yükseltmez. Keşfi hızlandırır; sıralamayı içerik ve otorite belirler.
robots.txt olmasa ne olur?
Sorun çıkmaz; bot her yeri tarayabilir sayar. Ancak yönetim paneli gibi alanları taramaya açık bırakmış olursunuz.
Yapay zeka botları için ayrı kural yazılabilir mi?
Yazılabilir. Her bot kendi kimliğiyle tanımlanır ve ayrı kural alabilir. Kuralları yazdıktan sonra arama motoru botlarını yanlışlıkla engellemediğinizi doğrulayın.
Nereden başlamalı?
alanadiniz.com/robots.txt adresini tarayıcıda açın ve içeriğine bakın. Ardından alanadiniz.com/sitemap.xml adresini kontrol edin. İkisi de yoksa veya beklenmedik kurallar içeriyorsa, ilk iş orada.
SEO sonuçları sektöre, rekabete ve sitenin mevcut durumuna göre değişir. Belirli bir sıraya çıkma veya trafik artışı taahhüt edilemez; sıralama garantisi veren hiçbir yöntem yoktur.
Bunu kendi hesabınızda uygulayalım mı?
Ücretsiz analizde hesabınıza bakıp yazıdaki adımların sizde nasıl karşılık bulduğunu gösteriyoruz.