Blogger'da Robots.txt Nasıl Oluşturulur? (SEO Uyumlu Rehber)

Blogger'da site kurulumunun en önemli adımlarından biri, arama motorlarına sitenizi nasıl tarayacaklarını anlatan bir robots.txt dosyası oluşturmaktır. Bu küçük ama güçlü metin dosyası, Google ve diğer arama motorlarının sitenizde nerelere girip giremeyeceğini, hangi sayfaları dizine ekleyip eklemeyeceğini belirler.

Bu rehberde, Blogger için robots.txt dosyasının ne olduğunu, neden gerekli olduğunu ve adım adım nasıl oluşturacağınızı anlatacağım.

Robots.txt Nedir ve Neden Önemlidir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına talimatlar veren basit bir metin dosyasıdır. "Hangi sayfaları tarayabilirsin, hangilerine dokunma" mesajını iletir.

Blogger için robots.txt'nin önemi şu noktalarda ortaya çıkar:

Kopya İçerik Engelleme: Blogger'da arama sonuçları, etiket sayfaları gibi bölümler, ana içeriğinizin kopyalarını oluşturur. Bu sayfalar dizine eklenirse Google tarafından cezalandırılabilirsiniz.

Tarama Bütçesini Koruma: Google'ın sitenize ayırdığı tarama kotası sınırlıdır. Gereksiz sayfaları engelleyerek botun yalnızca önemli içeriklerinizi taramasını sağlarsınız.

Özel Sayfaları Gizleme: Yönetim paneli, teşekkür sayfaları gibi ziyaretçilere görünmesini istemediğiniz bölümleri saklayabilirsiniz.

Blogger'da Robots.txt Nereden Düzenlenir?

Blogger, 2024 yılı itibarıyla robots.txt dosyasını doğrudan panel üzerinden düzenleme imkanı sunmaya başladı. Bu, eski yöntemlere göre çok daha pratik. İşte adımlar:

• Blogger hesabınıza giriş yapın ve sitenizin kontrol paneline gidin.
• Sol menüden Ayarlar bölümüne tıklayın.
• Sayfayı aşağı kaydırarak Tarayıcılar ve dizine ekleme başlığını bulun.
• Bu bölümün altında Özel robots.txt seçeneğini göreceksiniz. Yanındaki anahtarı Açık konuma getirin.
• Karşınıza çıkan metin kutusuna robots.txt kodlarınızı yazabileceğiniz bir alan gelecektir.

Blogger İçin En İyi Robots.txt Kodu (Güncel)

Aşağıdaki kodu sadece kendi site adresinizi değiştirerek kopyalayıp yapıştırabilirsiniz. Her satırın ne işe yaradığını da açıkladım.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.siteadresiniz.com/atom.xml?redirect=false&start-index=1&max-results=500

Kodun Satır Satır Açıklaması

• User-agent: Google AdSense botuna özel talimatların başladığını belirtir.
• Disallow: AdSense botunun sitenizdeki hiçbir yeri engellemeden, her sayfayı tarayabileceğini söyler. Reklam hedefleme için gereklidir.
• User-agent: Diğer tüm arama motoru botlarını (Googlebot, Bingbot, Yandex vb.) kapsayan genel talimatların başlangıcıdır. Yıldız işareti "herkes" anlamına gelir.
• Disallow: /search ile başlayan tüm adresleri taramayı yasaklar. Blogger'ın arama sonuçları sayfaları buradadır.
• Allow: Yukarıdaki yasaklar dışında kalan tüm sayfaların taranmasına izin verir.
• Sitemap: Arama motorlarına site haritanızın tam adresini bildirir.

Robots.txt Dosyasını Test Etme

Kodu kaydettikten sonra doğru çalışıp çalışmadığını kontrol etmelisiniz. Tarayıcınızın adres çubuğuna şu adresi yazın: "https://www.siteniz.com/robots.txt" Kaydettiğiniz kodun çıktığını görmelisiniz.

Sıkça Yapılan Hatalar

Robots.txt'yi kaydettim ama site haritam çalışmıyor.

Sitemap satırındaki adresin sizin alan adınızı içerdiğinden emin olun. www.siteadresiniz.com yazan yeri kendi alan adınızla değiştirin.

Tüm sayfaları yanlışlıkla engelledim, ne yapmalıyım?

Robots.txt düzenleyicisine geri dönüp Allow: / satırının eklendiğinden emin olun. En kötü ihtimalle tüm kodu silip sadece şunu bırakın: 

User-agent: *

Allow: /

Değişiklikler hemen etki eder mi?

Hayır, Google'ın robots.txt dosyanızı yeniden taraması biraz zaman alabilir. Genellikle 24-48 saat içinde güncellenir.

Robots.txt, Blogger'da sıklıkla göz ardı edilen ama SEO açısından kritik öneme sahip bir dosyadır. Yukarıdaki adımları izleyerek dakikalar içinde sitenize uygun, profesyonel bir robots.txt dosyası oluşturabilirsiniz.

Unutmayın, doğru yapılandırılmış bir robots.txt dosyası, arama motorlarına sitenizi nasıl taramaları gerektiğini söyleyen bir yol haritasıdır. Bu haritayı ne kadar net çizerseniz, arama sonuçlarında o kadar iyi performans alırsınız.

Sorularınızı yorumlarda paylaşmaktan çekinmeyin.