Robots.txt Erişimini Kontrol Edin
Bir URL'nin Googlebot ve yaygın yapay zeka tarayıcıları için robots.txt kurallarına göre açık mı engelli mi olduğunu birlikte görün.
Robots.txt Kontrol Aracı Nasıl Kullanılır?
Kontrol etmek istediğiniz sayfanın tam adresini girin. Araç, robots.txt dosyasını okuyarak URL'nin Googlebot ve yaygın yapay zeka tarayıcıları için açık mı engelli mi olduğunu ayrı ayrı gösterir.
URL'yi girin
Kontrol etmek istediğiniz kategori, ürün, içerik veya başka bir sayfanın tam adresini yazın.
Bot erişimlerini kontrol edin
Googlebot, ChatGPT Search, Perplexity, Claude ve model kullanım botları için geçerli kurallar ayrı ayrı değerlendirilir.
Hangi botun engelli olduğunu görün
Bir bot açıkken diğeri engelli olabilir. Sonuçlar yalnızca robots.txt kuralları açısından değerlendirilir.
Robots.txt Kontrol Aracı Neyi Kontrol Eder?
Robots.txt kontrolü, girdiğiniz URL için yalnızca Googlebot'u değil; OAI-SearchBot, PerplexityBot, Claude-SearchBot, GPTBot, ClaudeBot ve Google-Extended gibi botlara uygulanan kuralları da ayrı ayrı okur. Böylece sitenin arama motorlarına açık olup AI tarayıcılarına kapalı olduğu durumları tek ekranda görebilirsiniz.
Örneğin bir sayfada noindex etiketi bulunabilir ancak robots.txt dosyasında bu URL'yi engelleyen hiçbir kural olmayabilir. Böyle bir durumda araç doğru olarak URL'nin taramaya açık olduğunu gösterir.
Sonuç bir botun gerçekten sayfaya ulaşabildiğini tek başına kanıtlamaz. Cloudflare, WAF, IP engeli veya farklı bot koruma katmanları robots.txt dışında ayrıca erişimi kesebilir.
Sonucu Nasıl Okumalısınız?
Araç iki temel sonuç verir. Kritik nokta, “taramaya açık” sonucunu “Google'da kesin indekslenir” şeklinde yorumlamamaktır.
Googlebot için taramaya açık
URL'yi engelleyen bir robots.txt kuralı bulunmadığı anlamına gelir.
Robots.txt tarafından engelleniyor
Girdiğiniz URL ile eşleşen bir Disallow kuralı bulunduğu anlamına gelir.
Yapay Zeka Botları İçin Kurallar Farklı Olabilir
Bir site Googlebot'a açıkken ChatGPT, Claude veya Perplexity botlarından biri engellenmiş olabilir. Bu nedenle sonuçları bot bazında ayrı ayrı kontrol etmek gerekir.
AI arama botları
OAI-SearchBot, PerplexityBot ve Claude-SearchBot arama veya cevap sistemlerinin web içeriğini keşfetmesiyle ilişkilidir.
Bu botlardan birinin engelli olması, diğerlerinin de engelli olduğu anlamına gelmez.
Model kullanım botları
GPTBot, ClaudeBot ve Google-Extended arama görünürlüğünden ayrı içerik kullanım tercihlerini yönetir.
Örneğin Google-Extended'i engellemek Google Search'e dahil olmayı veya Google sıralamasını kapatmaz.
Robots.txt ile Noindex Arasındaki Fark
İkisi farklı işler yapar. Robots.txt botların sayfaya erişimini yönetir; noindex ise taranabilen bir sayfanın Google arama sonuçlarında gösterilmemesi gerektiğini belirtir.
Googlebot'un belirli sayfa veya klasörlere girip giremeyeceğini belirler.
Bir sayfayı Google sonuçlarından kaldırmak için kullanılmaz. Bot sayfaya giremiyorsa sayfanın içindeki diğer talimatları da okuyamaz.
Google'a “bu sayfayı arama sonuçlarında gösterme” mesajı verir.
Google'ın bu mesajı okuyabilmesi için sayfaya erişebilmesi gerekir.
Robots.txt Kontrolü Nerelerde İşinize Yarar?
Özellikle belirli URL gruplarının yanlışlıkla Googlebot'a kapatılıp kapatılmadığını hızlıca görmek istediğiniz durumlarda kullanabilirsiniz.
Filtre URL'leri
Renk, beden, fiyat veya farklı filtrelerle oluşan URL'lerin robots.txt durumunu kontrol edin.
Kategori ve ürün sayfaları
Önemli bir sayfanın yanlışlıkla Googlebot'a kapatılmadığından emin olun.
Site içi arama sayfaları
Arama sonuçları ve parametreli URL'lerin tarama durumunu hızlıca kontrol edin.
Sistem URL'leri
/wp-admin/ gibi sistem dizinleri için tanımlanan kuralların beklediğiniz gibi çalışıp çalışmadığına bakın.
Robots.txt Kontrol Aracı Hakkında Sık Sorulan Sorular
Robots.txt kontrol aracı neyi kontrol eder?
Girdiğiniz URL'nin robots.txt dosyasındaki kurallara göre Googlebot tarafından taranmasına izin verilip verilmediğini kontrol eder. Bir engelleme varsa URL ile eşleşen kuralın sonucunu gösterir.
Noindex olan bir URL neden “taramaya açık” görünüyor?
Çünkü noindex ile robots.txt farklı şeyleri kontrol eder. Noindex sayfanın arama sonuçlarında yer almaması gerektiğini belirtir; robots.txt ise Googlebot'un URL'yi tarayıp tarayamayacağını yönetir. Sayfa noindex olsa bile robots.txt tarafından engellenmemişse taramaya açık görünmesi normaldir.
Robots.txt ile engellenen bir sayfa Google'dan silinir mi?
Hayır. Robots.txt bir URL'nin taranmasını sınırlar. Bir URL'nin Google dizininden kaldırılması veya indekslenmemesi farklı sinyaller ve yöntemlerle değerlendirilmelidir.
Robots.txt dosyam yoksa bu bir SEO problemi midir?
Hayır. Özel olarak engellemek istediğiniz bir URL grubu yoksa robots.txt dosyasının bulunmaması tek başına teknik SEO hatası değildir.
Taramaya açık bir sayfa kesin olarak Google'da indekslenir mi?
Hayır. Araç yalnızca robots.txt tarafını kontrol eder. Noindex etiketi, canonical, HTTP yanıtı, sayfanın içeriği ve Google'ın indeksleme kararı ayrıca değerlendirilir.
Robots.txt ile noindex birlikte kullanılabilir mi?
Her durumda doğru bir kullanım değildir. Googlebot bir URL'yi robots.txt nedeniyle tarayamıyorsa sayfanın içindeki noindex etiketini de okuyamaz. Hangi yöntemin kullanılacağı URL grubuna ve çözmek istediğiniz probleme göre belirlenmelidir.
ChatGPT, Claude ve Perplexity erişimini robots.txt ile ayrı ayrı kontrol edebilir miyim?
Evet. OAI-SearchBot, PerplexityBot, Claude-SearchBot, GPTBot ve ClaudeBot gibi farklı user-agent grupları için ayrı kurallar tanımlanabilir. Her botun amacı aynı olmadığı için arama görünürlüğü ile model kullanım tercihlerini birbirinden ayrı değerlendirmek gerekir.
AI botu robots.txt içinde açık görünüyorsa kesin erişebilir mi?
Hayır. Bu araç robots.txt kurallarını kontrol eder. Cloudflare, WAF, bot koruması, IP kısıtı veya sunucu tarafındaki başka bir güvenlik katmanı botun gerçek erişimini ayrıca engelleyebilir.
Tek Bir URL Bazen Yeterli Olmaz.
Yanlış bir robots.txt kuralı tek sayfayı değil, aynı yapıdaki yüzlerce URL'yi etkileyebilir. Teknik SEO çalışmalarında tarama, indeksleme ve site yapısını birlikte değerlendiriyoruz.