robots.txt nedir, ne işe yarar?
Kısa cevaprobots.txt nedir? Sitenizin kök dizininde duran ve Google gibi arama motoru tarayıcılarına hangi adresleri taramamaları gerektiğini söyleyen düz metin dosyasıdır. Ne işe yarar? Taramayı yönetir: yönetim paneli, site içi arama sonuçları gibi gereksiz sayfaları dışarıda bırakır ve site haritasının yerini gösterir. Bir sayfayı Google'dan gizlemez; bunun için noindex gerekir.
robots.txt dosyanızı 6 adımda kontrol edin
- Dosyayı açın: tarayıcıda alanadiniz.com/robots.txt adresine gidin. Dosya yoksa ya da “bulunamadı” (404) dönüyorsa Google sitenin tamamını tarayabileceğini varsayar; küçük bir site için bu sorun değildir.
- “Disallow: /” satırını arayın: “User-agent: *” altında tek başına “Disallow: /” varsa bütün site taramaya kapalıdır. Geliştirme sırasında konup yayında unutulan en tehlikeli satır budur.
- Kapattığınız yolları gözden geçirin: yalnız yönetim paneli, sepet, site içi arama sonuçları gibi aramada işe yaramayan adresler kapalı olsun. Yollar büyük/küçük harfe duyarlıdır: /Urunler ile /urunler farklıdır.
- CSS ve JavaScript dosyalarını engellemeyin: Google sayfayı bu dosyalarla birlikte işler; engellenirse sayfanın nasıl göründüğünü anlayamayabilir.
- Site haritası satırı ekleyin: “Sitemap: https://alanadiniz.com/sitemap.xml” biçiminde, protokol ve alan adıyla birlikte tam adres yazın.
- Search Console'da doğrulayın: Ayarlar altındaki robots.txt raporu Google'ın bulduğu dosyayı ve hataları gösterir; tek bir sayfanın engellenip engellenmediğini URL denetimiyle görebilirsiniz.
robots.txt neyi yapar, neyi yapmaz?
| Konu | robots.txt ile olur mu? | Doğru yol |
|---|---|---|
| Bir sayfayı Google sonuçlarından çıkarmak | Hayır. Engellenen adres başka sitelerden bağlantı alıyorsa açıklamasız olarak yine sonuçlarda görünebilir | Sayfaya noindex etiketi koyun ve sayfayı taramaya açık bırakın |
| Gizli dosyaları korumak | Hayır. Dosya herkese açıktır ve kurallara uymak tarayıcının tercihidir | Şifre koruması ya da sunucuda erişim kısıtlaması |
| Gereksiz sayfaların taranmasını önlemek | Evet | Disallow satırıyla yolu kapatın |
| Google'ın tarama hızını yavaşlatmak | Hayır. Google crawl-delay satırını desteklemez | Sunucu sorunu varsa hosting firmanızla konuşun |
| Site haritasının yerini bildirmek | Evet | Sitemap satırı + Search Console'dan gönderim |
| Alt alan adını (blog.alanadiniz.com) kapsamak | Hayır. Dosya yalnız bulunduğu alan adı ve protokol için geçerlidir | Her alt alan adının kendi kökünde ayrı robots.txt |
Sık yapılan hatalar
- Yayına geçerken “Disallow: /” satırını bırakmak: site aylarca Google'da çıkmayabilir; teslim günü ilk bakılacak dosyalardan biridir.
- Sayfayı hem robots.txt ile engelleyip hem noindex koymak: Google sayfayı tarayamadığı için noindex etiketini hiç görmez; sayfa sonuçlarda kalabilir.
- robots.txt'ye noindex satırı yazmak: Google bu dosyada noindex kuralını desteklemez.
- Dosyayı alt klasöre koymak: alanadiniz.com/blog/robots.txt okunmaz; dosya yalnız kök dizinde geçerlidir.
- Sunucunun robots.txt için hata vermesi: dosya 5xx hatası dönerse Google bir süre taramayı durdurabilir; dosya ya düzgün açılmalı ya da temiz bir “bulunamadı” dönmelidir.
robots.txt'deki Sitemap satırı, site haritası dosyanızı Google'a göstermenin ikinci yoludur. WordPress'te Ayarlar → Okuma altındaki arama motorlarını engelle kutusu da yayından önce kontrol edilmelidir. Taşınan sayfaları robots.txt ile kapatmak yerine 301 yönlendirme ile yeni adrese bağlayın.
Kendiniz yapabilirsiniz
Çoğu küçük işletme sitesi için robots.txt'ye dokunmanız gerekmez: WordPress ve site kurucular varsayılan bir dosya üretir. Yapmanız gereken yalnız dosyayı bir kez açıp “Disallow: /” olmadığını ve Sitemap satırının doğru adresi gösterdiğini kontrol etmek, ardından Search Console'daki robots.txt raporuna bakmaktır.
Ya da biz halledelim
Kurduğumuz sitelerde robots.txt, site haritası ve Search Console ayarı teslimden önce kontrol edilir. Önce tasarımınızı görürsünüz; ödeme onayınızdan sonra Stripe ile, o günkü kurla euro olarak alınır. Site 9.900 TL · Site + 1 yıl hosting 55.000 TL · Site + kaynak kodlar 150.000 TL.
Tasarımımı gör →