Teknik SEO’nun en temel ama en kritik yapı taşlarından biri robots.txt dosyasıdır. Arama motoru botlarının sitenizi nasıl tarayacağını belirleyen bu küçük metin dosyası, doğru yapılandırıldığında crawl bütçesini optimize eder, gereksiz URL’lerin indekslenmesini engeller ve site mimarisini arama motorlarına net biçimde anlatır. Ancak hatalı kurgulandığında tüm sitenin indeks dışı kalmasına kadar gidebilecek ciddi sonuçlar doğurabilir.
Robots.txt Dosyası Nedir?
Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini ve hangi bölümlerini taramamalarını söyleyen bir metin dosyasıdır.
Bu dosya sitenizin kök dizininde bulunur:
- https://siteadi.com/robots.txt
Arama motoru botları siteyi taramaya başlamadan önce ilk olarak bu dosyayı kontrol eder. Dosya içerisinde yer alan kurallara göre sayfaları crawl eder veya etmez. Robots.txt taramayı (crawl) engeller. Ancak her zaman indekslemeyi (index) garanti şekilde engellemez. Eğer bir sayfa başka yerlerden link alıyorsa Google o URL’yi indeksleyebilir. Bu nedenle robots.txt ile noindex mantığı karıştırılmamalıdır.
Robots.txt Dosyası Neden Önemlidir?
Robots.txt kullanımı özellikle büyük sitelerde hayati öneme sahiptir. Önemli olmasının nedenleri şu şekilde sıralanabilir:
Crawl Bütçesini Optimize Eder
Google botun sitenize ayırdığı belirli bir tarama kapasitesi vardır. Filtre URL’leri, parametreli sayfalar, admin alanları gibi gereksiz URL’leri engellemezseniz bot önemli sayfalara geç ulaşabilir.
Gizli veya Gereksiz Alanları Korur
Aşağıdaki alanların taranmasını engelleyebilirsiniz.
- /admin/
- /panel/
- /cart/
- /checkout/
SEO Stratejisini Güçlendirir
Robots.txt dosyası yalnızca engelleme aracı değildir; aynı zamanda arama motorlarına sitenin öncelik haritasını sunar. Hangi alanların önemli, hangilerinin ikincil olduğu bu dosya üzerinden dolaylı biçimde aktarılabilir. Özellikle büyük ve karmaşık yapılarda, botların stratejik sayfalara odaklanmasını sağlamak SEO performansını doğrudan etkiler. Doğru yapılandırılmış bir robots txt dosyası, arama motoruna site yapınızı daha net gösterir.
Sunucu Yükünü Azaltır
Yoğun bot trafiği özellikle büyük sitelerde ciddi sunucu yükü oluşturabilir. Filtre sayfaları, arama sonuçları ve parametreli URL’ler gereksiz tarandığında hem kaynak tüketimi artar hem de site hızı etkilenir. Robots.txt ile bu alanların kontrol altına alınması, sistem kaynaklarının daha verimli kullanılmasını sağlar. Gereksiz bot trafiğini engelleyerek performansa katkı sağlar.
Robots.txt Dosyası Nasıl Oluşturulur?
Öncelikle sade bir metin editörü açarak dosyayı düz metin formatında hazırlayın ve gereksiz biçimlendirmelerden kaçının. Ardından sitenizin ihtiyaçlarına göre taranmasını istemediğiniz klasörleri ve izin vermek istediğiniz alanları planlayın. Kuralları net ve tutarlı bir yapı içinde yazdıktan sonra dosyayı “robots.txt” adıyla kaydedin. Dosyanın uzantısının mutlaka .txt olduğundan ve farklı bir isimle kaydedilmediğinden emin olun.
Aşağıdaki adımları Robots.txt dosyası oluşturmak için uygulayabilirsiniz:
- Not Defteri veya herhangi bir text editör açın.
- Kuralları yazın.
- Dosyayı “robots.txt” adıyla kaydedin.
- FTP veya hosting paneli üzerinden sitenin ana dizinine yükleyin.
Aşağıdaki yapı temel bir örnek robots txt dosyası olur. robots.txt örnek kullanımı şöyledir:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
Sitemap: https://siteadi.com/sitemap.xml
Önemli Robots.txt Komutları
Robots.txt hazırlama sürecinde kullanılan temel komutlar, arama motoru botlarına sitenin hangi bölümlerini nasıl taramaları gerektiğini anlatan yapı taşlarıdır. User-agent komutu, yazılan kuralların hangi arama motoru botu için geçerli olduğunu belirler ve gerektiğinde bot bazlı özelleştirme yapılmasına imkân tanır. Disallow komutu, belirli klasör veya URL’lerin taranmasını engelleyerek crawl bütçesini korumaya yardımcı olurken; Allow komutu, engellenmiş bir alan içindeki belirli dosya veya dizinlere istisnai erişim tanımak için kullanılır. Sitemap bildirimi ise arama motorlarına site haritasının konumunu göstererek önemli sayfaların daha hızlı ve doğru şekilde keşfedilmesini sağlar. Bu komutlar birlikte kullanıldığında robots.txt dosyası, sitenin tarama stratejisini kontrollü ve planlı biçimde yönetmeye olanak tanır.
Robots txt hazırlama sürecinde en çok kullanılan komutlar şunlardır:
User-agent
User-agent komutu, robots.txt dosyasında yazılan kuralların hangi arama motoru botu için geçerli olduğunu belirtir. Böylece tüm botlara aynı kural uygulanabileceği gibi, yalnızca belirli bir bot için özel tarama yönergeleri de tanımlanabilir. Örneğin sadece Google’ın tarayıcısı için ayrı bir yapı oluşturulabilir ya da yıldız (*) kullanılarak tüm arama motoru botlarına aynı kurallar uygulanabilir.
User-agent: Googlebot
User-agent: *
Disallow
Disallow komutu, arama motoru botlarının belirli klasörleri veya URL yollarını taramasını engellemek için kullanılır. Bu komut sayesinde admin paneli, sepet sayfası, ödeme adımı ya da filtre sonuçları gibi SEO değeri taşımayan alanların gereksiz şekilde crawl edilmesi önlenebilir. Böylece hem crawl bütçesi korunur hem de düşük kaliteli veya tekrar eden sayfaların arama motorları tarafından keşfedilmesi sınırlandırılır. Ancak Disallow kullanılırken dikkatli olunmalı, organik trafik getiren önemli sayfalar yanlışlıkla engellenmemelidir.
Disallow: /admin/
Allow
Allow komutu, daha önce Disallow ile engellenmiş bir klasör veya dizin içinde yer alan belirli dosya ya da alt klasörlerin taranmasına izin vermek için kullanılır. Bu sayede genel olarak kapatılmış bir alan içinde arama motorlarının erişmesi gereken önemli içerikler istisna olarak açılabilir. Özellikle statik dosyalar, görseller veya performans açısından kritik kaynaklar için bu yöntem tercih edilir. Allow komutu, robots.txt yapısına esneklik kazandırarak hem kontrol hem de erişim dengesini doğru şekilde kurmaya yardımcı olur.
Allow: /wp-content/uploads/
Sitemap
Sitemap bildirimi, arama motorlarına site haritasının bulunduğu adresi göstererek önemli sayfaların daha hızlı ve doğru şekilde keşfedilmesini sağlar. Özellikle büyük ve dinamik yapıya sahip sitelerde, yeni eklenen içeriklerin gecikmeden taranması açısından kritik rol oynar. Robots.txt dosyası içinde sitemap konumunun belirtilmesi, arama motoru botlarına net bir yönlendirme sunar ve indeksleme sürecini hızlandırır. Böylece site mimarisi daha düzenli algılanır ve SEO performansı daha sağlıklı yönetilir.
Sitemap: https://siteadi.com/sitemap.xml
Robots.txt Dosyası Kullanırken Dikkat Edilmesi Gerekenler
Robots.txt dosyası hazırlanırken yalnızca teknik doğruluk değil, stratejik bütünlük de gözetilmelidir. Engellenen her URL’nin gerçekten taranmaması gerekip gerekmediği analiz edilmeli, SEO değeri olan sayfalar yanlışlıkla kısıtlanmamalıdır. Geliştirme ve canlı ortam dosyaları ayrı yönetilmeli, deploy sürecinde otomatik kontrol mekanizması kurulmalıdır. Ayrıca robots.txt değişiklikleri sonrası tarama istatistikleri ve indeks durumu düzenli olarak izlenmeli, beklenmeyen trafik düşüşleri hızlıca analiz edilmelidir. Robots.txt bir kez yazılıp unutulacak bir dosya değil; site büyüdükçe güncellenmesi gereken dinamik bir SEO bileşenidir.
Tüm Siteyi Yanlışlıkla Engellemeyin
Robots.txt dosyasında yapılan küçük bir hata, sitenin arama motorlarıyla olan tüm bağını koparabilir. Özellikle geliştirme ortamında kullanılan kuralların canlıya taşınması en sık karşılaşılan risklerden biridir. Yayına alınmadan önce dosyanın mutlaka kontrol edilmesi ve test edilmesi gerekir. Aksi halde organik trafik bir anda sıfıra düşebilir ve toparlanma süreci haftalar sürebilir.
Şu kural tüm siteyi kapatır:
User-agent: *
Disallow: /
Canlı ortamda kullanılması büyük SEO felaketidir.
Robots.txt ile Gizlilik Sağlanmaz
Robots.txt dosyası sitenin kök dizininde yer alır ve herkese açıktır. Tarayıcıya siteadi.com/robots.txt yazan herhangi bir kişi dosyanın içeriğini görüntüleyebilir. Bu nedenle robots.txt bir güvenlik aracı değildir. Bir klasörü Disallow ile engellemek o alanı gizlemek anlamına gelmez; aksine o dizinin varlığını açıkça göstermiş olur. Üstelik robots.txt yalnızca iyi niyetli arama motoru botlarına yönelik bir yönergedir. Kötü niyetli botlar veya manuel erişimler bu kurallara uymak zorunda değildir. Eğer admin paneli, özel klasörler ya da hassas içerikler korunmak isteniyorsa sunucu taraflı şifreleme, IP kısıtlaması, erişim kontrolü veya güvenlik duvarı gibi yöntemler kullanılmalıdır. Robots.txt, güvenlik değil tarama yönetimi için vardır.
Noindex ile Karıştırmayın
Robots.txt’nin en sık yanlış anlaşılan yönü indeksleme kontrolüyle karıştırılmasıdır. Robots.txt taramayı engeller; ancak bir URL’nin arama sonuçlarında görünmeyeceğini garanti etmez. Eğer bir sayfa başka sayfalardan link alıyorsa veya Google o URL’yi farklı kaynaklardan keşfederse, içeriğini görmeden bile indeksleyebilir. Bu durumda arama sonuçlarında başlık görünebilir ancak açıklama kısmında içeriğin robots.txt nedeniyle taranamadığı belirtilir. İndeks kontrolü için meta robots etiketi veya X-Robots-Tag kullanılmalıdır. Noindex komutu, sayfanın taranmasına izin verip arama sonuçlarına eklenmemesini sağlar. Bu nedenle bir URL’yi tamamen arama sonuçlarından çıkarmak istiyorsanız robots.txt yerine noindex tercih edilmelidir. Crawl ve index kavramlarının birbirinden farklı olduğu unutulmamalıdır.
Test Etmeden Yayına Almayın
Robots.txt dosyasında yapılacak küçük bir hata sitenin tamamının arama motorlarına kapanmasına neden olabilir. Özellikle “Disallow: /” gibi tek satırlık bir kural tüm siteyi taramaya kapatır. Bu tür hatalar çoğu zaman geliştirme ortamında yazılan dosyanın canlıya aynen aktarılmasıyla ortaya çıkar. Bu nedenle robots.txt dosyası yayınlanmadan önce mutlaka test edilmelidir. Google Search Console içerisindeki robots.txt test aracı, belirli URL’lerin engellenip engellenmediğini kontrol etme imkânı sunar. Ayrıca dosya yüklendikten sonra canlı ortamda tekrar kontrol edilmelidir. Test süreci atlanırsa organik trafik kaybı yaşanabilir ve hatanın fark edilmesi haftalar sürebilir.
Parametreli URL’leri Kontrol Edin
Özellikle e-ticaret sitelerinde filtreleme, sıralama ve arama sonuçları parametreli URL üretir. Örneğin renk, beden, fiyat aralığı veya sıralama seçenekleri her kombinasyonda yeni bir URL oluşturabilir. Bu durum binlerce hatta yüz binlerce varyasyon üretir ve arama motorlarının crawl bütçesini gereksiz şekilde tüketir. Eğer bu parametreler kontrol altına alınmazsa düşük değerli, benzer içerikli veya tekrar eden sayfalar indekslenebilir. Robots.txt üzerinden belirli parametre kalıplarının engellenmesi, gereksiz taramanın önüne geçer. Ancak burada dikkatli olunmalı, değerli ve arama hacmi olan filtre kombinasyonları yanlışlıkla engellenmemelidir. Parametre yönetimi stratejik planlanmalı, hangi URL’lerin taranacağı ve hangilerinin engelleneceği SEO hedefleri doğrultusunda belirlenmelidir.
Profesyonel Robots.txt Yapısına Örnek
Profesyonel bir robots.txt yapısı, yalnızca bazı klasörleri engellemekten ibaret değildir; sitenin tarama stratejisini bilinçli şekilde yönetmeyi amaçlar. Özellikle e-ticaret sitelerinde filtre URL’leri, arama sonuç sayfaları ve parametreli bağlantılar ciddi crawl bütçesi kaybına yol açabilir. Bu nedenle robots.txt dosyası hazırlanırken hem SEO hedefleri hem de site mimarisi birlikte değerlendirilmelidir.
Aşağıdaki yapı, orta ölçekli bir e-ticaret sitesi için dengeli ve kontrollü bir örnek sunar:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /wp-content/uploads/
Sitemap: https://siteadi.com/sitemap.xml
Doğru yapılandırılmış bir robots.txt dosyası, teknik SEO’nun temel güvenlik kapısıdır. Crawl bütçesini optimize eder, gereksiz URL’leri engeller ve arama motorlarına net sinyaller gönderir. Ancak bilinçsiz yapılan robot.txt dosyası oluşturma işlemleri tüm siteyi indeks dışı bırakabilecek kadar risklidir. Bu nedenle robots dosyası oluşturma süreci mutlaka planlı yürütülmeli, test edilmeli ve site mimarisiyle uyumlu olmalıdır. Profesyonel bir robots.txt kullanımı, sitenizi hem arama motoru dostu hem de performans odaklı hale getirir.
