robots.txt

robots.txt açıklamak gerekirse bir dosya türü denilebilir. Bu dosya şekli değişik arama motorlarının sitenizde erişilmesini istemediğiniz yerleri gösteren sitelere yerleştirilen bir kök dizini dosyasıdır. Büyük olmayan komut kısmına sahip olan “robotları engelleme standardı” olarak bilinen bir standart kullanmaktadır. Sistem bu komutlar ile çalışmaktadır.

Site gözetmeksizin bir siteye erişim noktasında mobil veya masaüstü tarayıcılara göre değişikliğe uğrayarak hangi bölümlerin saklanması gerektiğini gösterir. WebMasterlar bazı zamanlarda sitelerinin bazı bölümlerine arama motoru botlarının erişmesini istemezler. Tüm arama motorları sitelere botlar ile giriş yapar ve içeriklerini belli bir algoritmik yazılım eşliğinde kontrol eder. Bu sayede sitenin arama motorlarına kaydını ve Serp sıralamalarında kaçıncı sırada çıkacağının oluşturur. SEO bazında, arama motoru botlarının siteler için büyük bir önemi mevcuttur.

Robot.txt

Robots.txt Doğru Kullanımı ve Önemi

Arama motorlarında en üst sırada çıkmak için botlar belli aralıklarla sitelere giriş yapar ve o siteleri algoritmalar harmanından geçirdikten sonra sıralamaya sokar. Bu durum önemli olsa da yine de sitelerin bazı bölümleri botların girişine kapalı olmalıdır. Eğer yanlış bir robots.txt komut dizini verilirse bu durum SEO için çok sıkıntılı durum oluşturur. Bu yüzden komut dizini doğru yapılmalıdır. robots.txt dosyası hazırlanırken dikkat edilmesi gereken noktalar mevcuttur.

Bunlar;

  • Robots.txt dosyası mutlaka sitenin kök dizinine eklenmiş olmalıdır.
  • Her zaman UTF-8 karakter kodlamasına uygun olarak hazırlanıp doğru bir şekilde yerleştirilmelidir.
  • Dosya mutlaka sitenin URL’si ile format olarak benzer bir şekilde olmalıdır.

Her sitenin kök dizininde mutlaka robots.txt dosyası bulunmalıdır. URL standardının yakalanmasına özen gösterilmelidir ve bir alt klasörde veya daha farklı bir dosyada olmamasına da dikkat edilmesi gerekmektedir.

Robots.txt Dosyası Nasıl Olmalı?

Dosya türü mutlaka düz metin formatında olmalıdır. Aynı zamanda sadece UTF-8 olarak bir karakter kodlaması yapılmalıdır. Bunlar dışında kodlama yapılması yanlış olur. Dosyayı istenildiğinde değiştirilebilir formatta düzenlenebilir şekilde oluşturmak gerekir. Değişikliklere uygun olması yenilikler yapmamıza fırsat verir. Kullanımda ise site içeriğinden hiçbir zaman kaldırılmaması gerekmektedir. Her daim çalışır halde kalmalı ve kaldırılmamalıdır. Site içerisinde gizli tutulması da çok önemlidir. Robots.txt dosyası içerisinde bir takım belirlenmiş olan işlemleri yapabilmek için bazı komutlar kullanılmaktadır. Bunlara 3 farklı kategoride bakılabilir.

Grup komutları olarak geçen; dizin engelleme ya da izin verme, arama motoru engelleme ve izin verme ile birlikte, sayfa engelleme ve izin verme ve benzeri komutlar bulunmaktadır.  Aynı zamanda grup dışı komutlar olarak; sitenin genel haritası belirtme. Yorum ile notlar olarak da; değiştirilebilir olan bu dosya adına yorum ve notlar kısmıdır.

Robots.txt Komutlarının Önemi

SEO hizmetlerinin siteleri devam ettirmesi bakımından büyük önemi bulunmaktadır. Bundandır ki, arama motoru botlarının sitenin gerekli kısımlarında dolaşmalarına büyük bir önem verilmelidir. robots.txt dosyası hazırlanırken komut dizinlerine dikkat edilmeli ve ona göre belirlenmiş olan standart komutların dışına çıkılmamalıdır. Aksi takdirde botların ulaşması gereken yerleri kapalı hale getirilebilir. Komutlar kesin ve net ifadeler ile yazılmalıdır. Yapılabilecek bir yazım hatası kodlamayı geçersiz kılabileceği bilinmeli.

Nasıl oluşturul derseniz buraya tıklayarak öğrenebilirsiniz.

Kategoriler: Yazılar

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir