Robots.txt Dosyanızı Oluşturun

Arama motorlarının sitenizde hangi alanları tarayabileceğini belirleyen robots.txt dosyanızı birkaç adımda hazırlayın.

Web siteniz Sitemap adresini otomatik önermek için kullanılır.

Web sitesi adresi

Taramaya kapatmak istediğiniz alanlar Yalnızca gerçekten taranmasını istemediğiniz bölümleri seçin.

Site içi arama sonuçları Arama sonuç sayfaları Sepet sayfaları Kullandığınız gerçek yolu kontrol edin Ödeme sayfaları Kullandığınız gerçek yolu kontrol edin Kullanıcı hesabı Kullandığınız gerçek yolu kontrol edin WordPress yönetim alanı admin-ajax.php otomatik açık bırakılır Filtre / parametre URL'leri Örnek yolu kendi sitenize göre değiştirin

Hazır yollar örnektir. Sitenizdeki gerçek URL yapısını kontrol edip gerekirse alanı düzenleyin.

Sitemap Varsa sitemap adresinizi robots.txt içinde ayrıca gösterebilirsiniz.

Sitemap adresini ekle

Sitemap URL'si

Yapay zeka tarayıcıları ChatGPT, Perplexity ve bazı model kullanım senaryoları için ayrı erişim tercihi belirleyebilirsiniz.

Google AI Overviews ve AI Mode Google Search'in parçasıdır. Ayrı bir “AI botu” açmanız gerekmez; erişim Googlebot kurallarıyla yönetilir.

Googlebot

ChatGPT Search İçeriğinizin ChatGPT arama sonuçlarında keşfedilmesi ve kaynak olarak gösterilmesiyle ilişkilidir. OAI-SearchBot

Perplexity Search İçeriğinizin Perplexity sonuçlarında keşfedilmesi ve kaynak olarak bağlanmasıyla ilişkilidir. PerplexityBot

OpenAI model eğitimi ChatGPT Search'ten ayrıdır. GPTBot için içerik kullanım tercihinizi belirler. GPTBot

Google Gemini kullanımı Google Search sıralamasını veya AI Overviews görünürlüğünü yönetmez. Google-Extended ayrı bir içerik kullanım kontrolüdür. Google-Extended

Yapay zeka erişimi Henüz özel bir AI tarayıcı kuralı seçilmedi. Standart robots.txt kuralları geçerli.

Gelişmiş seçenekler

User-agent Çoğu site için “Tüm botlar (*)” seçeneği yeterlidir.

robots.txt Önizlemesi Seçimleriniz değiştikçe otomatik güncellenir.

Hazır

User-agent: *
Disallow:

Sitemap: https://www.site.com/sitemap.xml

Yazılımcıya iletecekseniz

Dosyayı nereye eklemelisiniz? robots.txt dosyası alan adınızın kök dizininde erişilebilir olmalıdır: site.com/robots.txt

Yayınladıktan sonra Robots.txt Kontrol Aracı ile test edin →

Robots.txt Nedir?

Robots.txt, arama motoru botlarının sitenizde hangi alanları tarayabileceğini yöneten metin dosyasıdır. Örneğin site içi arama sonuçları, sepet veya yönetim alanı gibi bölümlerin taranmasını sınırlandırmak için kullanılabilir.

Buradaki önemli ayrım şudur: robots.txt taramayı yönetir. Bir sayfanın Google'da indekslenmesini engellemek için kullanılan noindex ile aynı şey değildir.

Basit bir robots.txt örneği Temsili yapı

User-agent: * Disallow: /arama/ Disallow: /sepet/ Sitemap: https://www.site.com/sitemap.xml

Bu örnekte tüm botlara sitenin geri kalanı açıkken yalnızca belirtilen yolların taranması engellenir.

Robots.txt Dosyasında En Sık Yapılan Hatalar

Tüm siteyi yanlışlıkla kapatmayın

Disallow: / ilgili user-agent için sitenin tamamının taranmasını engeller. Bu kuralı yalnızca gerçekten bunu amaçlıyorsanız kullanın.

Google'dan kaldırmak için kullanmayın

Robots.txt bir indeks kaldırma yöntemi değildir. Google'da görünmesini istemediğiniz sayfalarda noindex farklı bir kontroldür.

Gerekli dosyaları engellemeyin

Google'ın sayfayı doğru işlemesi için gerekli CSS, JavaScript veya diğer kaynakları gereksiz yere kapatmayın.

Robots.txt Dosyası Nereye Eklenir?

Dosya alan adınızın kök dizininde ve doğrudan erişilebilir olmalıdır. Alt klasörde bulunan robots.txt dosyası ana site için geçerli olmaz.

https://www.site.com/robots.txt

Dosyayı yayınladıktan sonra URL'yi tarayıcıda açıp içeriğin doğru göründüğünü kontrol edin.

Robots.txt Yapay Zeka Tarayıcılarını da Yönetebilir

Arama motorlarının yanında ChatGPT ve Perplexity gibi platformların tarayıcıları için de ayrı erişim kuralları tanımlanabilir. Burada arama görünürlüğü ile model eğitimi aynı şey değildir.

Arama görünürlüğü

ChatGPT Search

OAI-SearchBot, içeriğinizin ChatGPT arama sonuçlarında keşfedilmesi, özetlenmesi ve kaynak olarak gösterilmesiyle ilişkilidir.

Arama görünürlüğü

Perplexity Search

PerplexityBot, sitelerin Perplexity sonuçlarında keşfedilmesi ve kaynak olarak bağlanması için kullanılan tarayıcıdır.

İçerik kullanımı

OpenAI model eğitimi

GPTBot, ChatGPT Search'ten ayrıdır. Model eğitimi için içerik kullanım tercihini robots.txt üzerinden ayrıca yönetebilirsiniz.

İçerik kullanımı

Google-Extended

Gemini ve bazı Google AI kullanımları için ayrı bir kontroldür. Google Search'e dahil olmayı veya Search sıralamasını yönetmez.

Google AI Overviews ve AI Mode için ayrı bir AI botu yok. Bunlar Google Search'in parçasıdır. Search tarafındaki tarama erişimi Googlebot kurallarıyla yönetilir.

Robots.txt Oluşturma Hakkında Sık Sorulan Sorular

Robots.txt kullanmak zorunlu mu?

Hayır. Arama motorlarının taramasını sınırlandırmanız gereken özel alanlar yoksa robots.txt dosyasında ek kural kullanmak zorunda değilsiniz.

Robots.txt bir sayfayı Google'dan kaldırır mı?

Hayır. Robots.txt taramayı engeller. URL başka kaynaklardan biliniyorsa bazı durumlarda içeriği taranmadan da Google'da görünebilir. İndekslemeyi yönetmek için noindex farklı bir mekanizmadır.

Sitemap adresi robots.txt içinde olmak zorunda mı?

Hayır. Zorunlu değildir ancak sitemap adresini robots.txt içinde belirtmek mümkündür. Sitemap ayrıca Google Search Console üzerinden de gönderilebilir.

Crawl-delay eklemeli miyim?

Googlebot crawl-delay kuralını desteklemez. Bu nedenle Google için robots.txt dosyasına crawl-delay eklemek gerekli değildir.

ChatGPT ve Perplexity için ayrı robots.txt kuralı yazabilir miyim?

Evet. OAI-SearchBot ve PerplexityBot gibi belirli tarayıcılar için ayrı user-agent grupları oluşturabilirsiniz. Arama görünürlüğü ile model eğitimi için kullanılan botları birbirinden ayrı değerlendirmek gerekir.

robots.txt dosyasını oluşturduktan sonra nasıl kontrol edebilirim?

Dosyayı sitenizin kök dizininde yayınladıktan sonra SEOliva Robots.txt Kontrol Aracı ile belirli URL'lerin kurallardan nasıl etkilendiğini kontrol edebilirsiniz.