“Robots.txt dosyası nedir?”, “Web sitemi Google botlarına nasıl açarım veya kapatırım?”, “Robots.txt nasıl yazılır, nereye eklenir?” gibi sorular özellikle SEO ve site yönetimiyle ilgilenen kullanıcıların sıklıkla araştırdığı konular arasında yer alıyor. Robots.txt, bir web sitesine gelen arama motoru botlarına hangi sayfaların taranabileceğini veya engelleneceğini belirten temel bir metin dosyasıdır. Doğru şekilde oluşturulan bir robots.txt dosyası, sitenizin arama motorlarındaki görünürlüğünü etkileyebilir, sunucu yükünü azaltabilir ve içerik kontrolü sağlar. Bu rehberde, robots.txt dosyasının ne işe yaradığını, nasıl oluşturulacağını ve SEO açısından nasıl en etkili şekilde kullanılacağını tüm yönleriyle ele alıyoruz.
Robots.txt, arama motoru botlarına (örümceklerine) bir web sitesinde hangi sayfaların taranıp taranamayacağını bildiren bir metin dosyasıdır. Bu dosya, arama motorlarının sitenizi nasıl gezmesi gerektiğini yönlendiren temel bir SEO aracıdır. Site kök dizinine yerleştirilir ve genellikle şu URL’de bulunur: example.com/robots.txt.
Bu dosya sayesinde web sitenizdeki belirli sayfaların arama motoru indeksine girmesini engelleyebilir veya belirli botlara özel kurallar koyabilirsiniz. Bu durum hem sunucu yükünü azaltır hem de gereksiz içeriklerin Google gibi motorlar tarafından indekslenmesini önler.
Robots.txt, SEO stratejisinde teknik yapılandırmanın önemli bir parçasıdır. Yanlış kullanımı sitenizin görünürlüğünü düşürebilirken, doğru yapılandırıldığında arama motorlarıyla daha sağlıklı bir ilişki kurmanıza yardımcı olur.
Robots.txt Ne İşe Yarar?
Robots.txt dosyasının temel işlevi, sitenizin hangi bölümlerinin arama motoru botları tarafından taranmasını istediğinizi ve hangilerinin engellenmesini istediğinizi belirlemektir. Bu sayede özel içerikler, test sayfaları, filtreli ürün listeleri gibi istenmeyen alanların arama motoru dizinlerine eklenmesi önlenebilir.
Aynı zamanda sunucu kaynaklarının daha verimli kullanılmasını sağlar. Büyük ölçekli sitelerde, tüm sayfaların taranması arama motoru botları için zaman kaybıdır. Robots.txt sayesinde önemli sayfalar önceliklendirilir, düşük öneme sahip sayfalar dışlanır.
Ek olarak, robots.txt kullanımı site güvenliğini de dolaylı olarak etkiler. Örneğin, yönetim panelleri gibi alanların botlar tarafından erişilmesini önleyerek içeriklerin gereksiz yere indekslenmesinin önüne geçilir.
Robots.txt Nasıl Oluşturulur?
Bir robots.txt dosyası oluşturmak oldukça basittir. Sadece bir düz metin editörü (örneğin Notepad) kullanarak bu dosya hazırlanabilir. Dosya uzantısı .txt olmalı ve UTF-8 formatında kaydedilmelidir. Aşağıda basit bir örnek yapı bulunmaktadır:
User-agent: *
Disallow: /admin/
Allow: /blog/
Bu örnekte:
User-agent: *tüm botlara hitap eder./admin/dizini taramadan hariç tutulur./blog/dizini taramaya izin verilir.
Dosya oluşturulurken en önemli nokta, söz diziminin hatasız olmasıdır. Küçük bir yazım hatası tüm sitenin taranmasını engelleyebilir. Bu nedenle oluşturduğunuz dosyayı Google Search Console’daki robots.txt test aracında kontrol etmeniz önerilir.
Google’ın robots.txt nedir? konulu içeriğine mutlaka gözatın: https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt
Robots.txt Dosyasına Hangi Kurallar Yazılabilir?
Robots.txt dosyasında kullanılan başlıca komutlar şunlardır:
User-agent: Hedeflenen arama motoru botuDisallow: Erişilmesi istenmeyen dizin ya da sayfaAllow: Disallow ile engellenmiş dizin içinde izin verilecek alanSitemap: XML site haritasının linkiCrawl-delay: Botların tarama sıklığını belirleme (Google desteklemez)
User-agent: Googlebot
Disallow: /private/
Allow: /private/allowed-page.html
Sitemap: https://www.siteadi.com/sitemap.xml
Bu yapı, Googlebot’un /private/ dizinini taramasını engellerken, dizin altındaki belirli bir sayfaya erişimini serbest bırakır.
Robots.txt Dosyası Nereye Yüklenir?
Robots.txt dosyası, sitenin ana dizinine (root) yerleştirilmelidir. Yani www.orneksite.com/robots.txt şeklinde doğrudan erişilebilir olmalıdır.
Bu dosyanın sunucuya FTP veya dosya yöneticisi aracılığıyla yüklenmesi gerekir. WordPress gibi CMS kullanan sitelerde bazı SEO eklentileri bu işlemi otomatikleştirebilir. Ancak manuel müdahale genellikle daha güvenlidir ve tam kontrol sağlar.
Yükleme sonrası, dosyanın doğru şekilde çalıştığını anlamak için robots.txt test aracı, Fetch as Google, URL denetimi gibi Google araçları kullanılabilir.
Robots.txt ile Yapay Zeka Botlarını Engelleme (Kod ve Açıklama)
Yapay zekâ sistemleri (örneğin ChatGPT, Google Bard, Claude, Perplexity) içeriklerini geliştirmek için web sitelerini tarayan botlar kullanırlar. Bu botlar, tıpkı Googlebot gibi çalışır ve robots.txt dosyasına yazılan kurallara uyma eğilimindedir. Eğer sitenizdeki içeriklerin yapay zeka modelleri tarafından kullanılmasını istemiyorsanız, bu botlara erişimi engellemelisiniz.
Robots.txt ile engelleme, etik ve yasal sınırlar içinde en yaygın kullanılan yöntemdir. Ancak unutulmamalıdır ki bu, sadece saygılı (iyi niyetli) botlar için geçerlidir. Kötü niyetli veya etik kuralları önemsemeyen botlar bu kuralları ihlal edebilir.
Kod: Tüm Yapay Zeka Botlarını Engelleme
# OpenAI (ChatGPT ve GPTBot)
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
# Google Bard (Gemini) botu
User-agent: Google-Extended
Disallow: /
# Anthropic (Claude)
User-agent: anthropic-ai
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Perplexity AI
User-agent: PerplexityBot
Disallow: /
# Common Crawl (Yapay zekaların eğitildiği veri kaynaklarından biri)
User-agent: CCBot
Disallow: /
# Amazon Bot (AI modeller için veri çekebilen tarayıcı)
User-agent: Amazonbot
Disallow: /
# Meta (Facebook) AI botları
User-agent: FacebookBot
Disallow: /
Robots.txt ile Yapay Zeka Botlarına Erişim İzni Verme (Kod ve Açıklama)
Bazı site sahipleri, yapay zekâ botlarının içeriklerini tarayıp kullanmasına bilinçli olarak izin vermek isteyebilir. Bunun nedeni, yapay zeka platformlarında kaynak olarak yer almak, marka görünürlüğünü artırmak veya trafik elde etmektir. Bu durumda robots.txt dosyasına bu botlara özel “Allow” komutu yazılmalıdır.
Eğer yalnızca belirli dizinlere izin vermek isterseniz, “Disallow” ile tüm siteyi kapatıp ardından “Allow” ile sadece belirli alanları açabilirsiniz.
Kod: Belirli Botlara ve Dizinlere Erişim İzni
# OpenAI GPTBot sadece /blog dizinine erişebilir
User-agent: GPTBot
Disallow: /
Allow: /blog/
# Google Bard (Google-Extended) tüm siteyi tarayabilir
User-agent: Google-Extended
Allow: /
# Anthropic Claude botu sadece /public klasörünü tarayabilir
User-agent: anthropic-ai
Disallow: /
Allow: /public/
# PerplexityBot ve CCBot tamamen serbest
User-agent: PerplexityBot
Allow: /
User-agent: CCBot
Allow: /
Yukarıda belirtilen kod yapısı sayesinde:
- GPTBot yalnızca blog sayfalarını görebilir,
- Google-Extended tüm siteye erişebilir,
- Claude yalnızca /public dizinini tarar,
- Diğer botlar sınırsız erişime sahiptir.
SEO Açısından Robots.txt Kullanımında Dikkat Edilmesi Gerekenler
Robots.txt dosyasını yapılandırırken dikkatli olunmalıdır. Yanlış bir kural, Google’ın sitenizin tamamını veya önemli bölümlerini taramasını engelleyebilir. Özellikle şu hatalardan kaçınılmalıdır:
Disallow: /komutu ile tüm sitenin erişime kapanması- Javascript veya CSS dosyalarının engellenmesi
- Site haritasının robots.txt içerisinde tanımlanmaması
- Kullanıcıya açık sayfaların yanlışlıkla dışlanması
Bu hataların tespiti için Google Search Console düzenli takip edilmeli, tarama hataları ve indekslenmeyen sayfalar kontrol edilmelidir.
Bu konuyu arayanlar, aşağıdaki soruları sordu
Google’da kullanıcılar bunları da sordu alanında robots.txt ile ilgili yapılan sorgulardan bazılarını derledik.
Robots.txt dosyası SEO’ya etkisi var mı?
Evet, dolaylı olarak vardır. Doğru kullanıldığında önemli sayfaların önceliklendirilmesini sağlar. Ancak yanlış kullanımda tüm siteyi görünmez kılabilir.
Robots.txt ile noindex aynı şey mi?
Hayır. Robots.txt botların taramasını engeller, noindex ise taranmış sayfaların dizine eklenmesini engeller. İkisi farklı görev üstlenir.
Her site robots.txt dosyası kullanmalı mı?
Küçük çaplı sitelerde zorunlu olmasa da, özellikle SEO optimizasyonu yapmak isteyen her site için önerilir.
Robots.txt dosyasını kimler okuyabilir?
Dosya herkese açık bir metin dosyasıdır. Tarayıcıya siteadi.com/robots.txt yazıldığında içerik görülebilir. Gizlilik için uygun değildir.
WordPress’te robots.txt nasıl yönetilir?
Yoast SEO, Rank Math gibi eklentilerle kolayca oluşturulabilir veya FTP ile manuel olarak yüklenebilir.
