robots.txt ve sitemap.xml nedir? Nasıl hazırlanır?
Arama motorlarına sitenizi tanıtan robots.txt ve sitemap.xml dosyalarının ne işe yaradığını, örneklerle nasıl hazırlanacağını ve Search Console'a nasıl gönderileceğini anlatıyoruz.
robots.txt nedir?
robots.txt, sitenizin kök dizininde (alanadi.com/robots.txt) bulunan ve arama motoru botlarına hangi bölümleri tarayıp taramayacaklarını söyleyen düz metin dosyasıdır. Bir tarama talimatıdır; sayfayı dizinden gizlemenin güvenli yolu değildir. Bir sayfanın dizinde görünmesini engellemek için noindex meta etiketi kullanın.
robots.txt örneği
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /sepet/
Sitemap: https://www.ornek.com/sitemap.xmlUser-agent hangi bot için geçerli olduğunu belirtir; * tüm botları ifade eder. Disallow ile taranması istenmeyen yollar, Allow ile izin verilen yollar tanımlanır. Son satırdaki Sitemap bildirimi botların site haritasını bulmasını sağlar.
Sık yapılan hatalar
- Tüm siteyi yanlışlıkla engellemek (Disallow: /). Geliştirme sürecinden kalan bu satır sıralamayı siler.
- CSS ve JavaScript klasörlerini engellemek; Google sayfayı doğru işleyemez.
- robots.txt'i gizli bilgi saklamak için kullanmak; dosya herkese açıktır.
sitemap.xml nedir?
XML site haritası, sitenizdeki önemli sayfaların listesini ve isteğe bağlı olarak son güncelleme tarihini arama motorlarına bildirir. Büyük, yeni veya iç bağlantısı zayıf sitelerde sayfaların daha hızlı keşfedilmesine yardımcı olur.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.ornek.com/</loc>
<lastmod>2026-11-09</lastmod>
</url>
</urlset>Hangi sayfalar haritada olmalı?
Dizine girmesini istediğiniz, 200 yanıt veren ve canonical adresi kendisi olan sayfalar. Yönlendirilen, noindex olan, 404 veren veya yinelenen sayfaları eklemeyin. WordPress'te Yoast, Rank Math gibi eklentiler site haritasını otomatik oluşturur ve günceller.
Search Console'a gönderme
Google Search Console'da mülkünüzü doğrulayın, "Site Haritaları" bölümüne sitemap.xml adresini yazıp gönderin. Durumun "Başarılı" olması dosyanın okunduğunu gösterir; sayfaların dizine girmesi ayrıca zaman alır. Önemli yeni sayfalar için "URL Denetimi" ile dizine ekleme isteyebilirsiniz.
Sık sorulan sorular
Site haritası zorunlu mu?
Zorunlu değildir ama keşfi hızlandırır; özellikle yeni siteler için önerilir.
robots.txt ile sayfayı dizinden çıkarabilir miyim?
Hayır. Engellenen sayfa yine de başka sitelerden gelen bağlantılarla dizinde görünebilir. noindex etiketi kullanın.
Kaç tane site haritası olabilir?
Her harita en fazla 50.000 URL içerebilir; büyük siteler birden fazla harita ve bir harita indeksi kullanır.
Ne yapmak istediğinizi yazın, paket danışmanı önersin.