Robots.Txt Nedir?
Robots.txt, SEO arama motoru robotlarına hangi sayfaları taramaları ve taramamaları gerektiğini söyleyen komutlar içeren bir metin dosyasıdır.
Bu talimatlar, belirli veya tüm botların davranışlarını ” izin vermek” ve “izin vermemek” şeklinde belitiliyor.
Bir rabiabaser.com/robots.txt dosyası şöyle görünür:
Robots.txt dosyaları başlangıçta karmaşık görünebilir, ancak bilgisayar dili oldukça basittir. Bu ayrıntıları daha sonra inceleyeceğiz.
Bu içerikte şunları ele alacağız:
- Robots.txt dosyaları neden önemlidir?
- Robots.txt dosyaları nasıl çalışır?
- Robots.txt dosyaları nasıl oluşturulur
- Robots.txt ‘ en iyi uygulmalar
Robots.txt Neden Önemli?
Bir robots.txt dosyası, web tarayıcısı etkinliklerinin yönetilmesine yardımcı olur, böylece web sitenizi veya herkesin görmesi amaçlanmayan dizin sayfalarınızı fazla çalıştırmaz
Bir robots.txt dosyası kullanmak istemenizin bir kaç nedenini inceleyelim:
1.Tarama Bütçenizi Optimize Eder
Tarama bütçesi, Google’ ın herhangi bir zamanda sitenizde tarayacağı sayfa sayısıdır. Sayı, sitenizin boyutuna, sağlığına ve geri bağlantılarına göre değişebilir.
Tarama bütçesi önemlidir; çünkü sayfa sayınız sitenizim tarama bütçesini aşarsa, sitenizde dizine eklenmemiş olacaktır.
Ve dizine eklenemeyen sayfalar hiçbir için sıralamaya girmezler.
Google’ ın web tarayısı, gereksiz sayfaları robots.txt ile engelleyerek tarama bütçenizin daha fazlasını önemli sayfalara harcayabilir.
2.Yinelenen Ve Herkese Açık Olmayan Sayfaları Engelleyin
Google arama matorlarının sitenizdeki her sayfayı taramasına izin vermenize gerek yok çünkü hepsinin sıralanması gerekmiyor. Örnekler arasında hazırlama siteleri, dahil arama sonuçları sayfaları, yinelenen sayfalar ve otorum açma sayfaları yer almaktadır.
Örneğin: WordPress, tüm tarayıcılar için “/wp-admin/” ögesine otomatik olarak izin vermez.
Bu sayfaların var olması gerekir. ancak indekslenmeleri ve arama motorlarında bulunmaları gerekmez.
Bu sayfaları tarayıcılardan ve robotlardan engellemek için “robots.txt” kullanıyor olmamız mükemmel bir durumdur.
3. Kaynakları Gizle
Google‘ ın PDF’ ler, video ve resimler gibi kaynakları arama sonuçlarından hariç tutmasını isteyebiliriz.
Belki de bu kaynakları gizli tutmak veya Google’ ın daha önemli içeriğe odaklanmasını istiyorsanız, bu durumda dizine eklemesini önlemenin en iyi yolu “robots.txt” kullanmaktır.
Robots.txt Dosyası Nasıl Çalışır?
Robots.txt dosyaları, Google arama motoru botlarına hangi URL’ leri tarayabileceklerini ve daha da önemlisi hangilerini tarayamayacaklarını söyler.
Google arama motorlarının iki ana görevi bulunuyor:
- İçeriği keşfetmek için web’ de gezinme
- Bilgi arayanlara gösterebilmesi için içeriği indeksleme
Tarama yaparken, arama motoru botları bağlantıları keşfeder ve takip eder. Bu süreç onları milyarlarca bağlantı ve web sitesi üzerinden “A sitesinden B sitesine ve C gsitesine” götürmektedir.
Herhangi bir siteye vardığında, bir buton yapacağı ilk şey bir robots.txt dosyası aramaktır. Bir tane bulursa, başka bir şey yapmadan önce dosyayı okuyacaktır.
Hatıyorlarsanız, bir robots.txt dosyası şöyle görünüyordu:
Sözdizimine dikkat ederseniz basittir.
Örneğin: Kullancı arasında arama motoru botlarını ve ardından kurallarını belirterek botlara kurallar atayabilirsiniz.
Her kullanıcı arasına yönergeler atamak için yıldız joker karakterini de kullanabilirsiniz. Yani kural çok basit, belirli bir bot için değil, tüm botlar için geçerlidir.
Not: Bir robots.txt dosyası talimatları salar ve uygulamaz. Davranız kuralları gibidir, iyi botları arama motoru botoları gibi kurallara uyar, ancak kötü botlar ise istenmeyen e- posta botları gibi onları görmezden gelir.
Robots.txt Dosyası Nasıl Bulunur?
Robot.txt dosyası, tıpkı web sitenizdeki diğer dosyalar gibi sunucunuda yer gizlenirler.
Anasayfa için tam URL’ yi yazıp ardından https://rabiabaser.com/robots.txt gibi “/robots.txt” ekleyerek herhangi bir web sitesi için robots.txt dosyasını görebilirsiniz.
Not: Bir robots.txt dosyası her zaman etki alanınızın kökünde bulunmalıdır. Bu neden, www.google.com sitesi için robots.txt dosyası www.google.com/robots.txt adresinde bulunurlar. Başka herhangi bir yerde ve tarayıcılar sizde olmadığını varsayar.
Bir robots.txt dosyasının nasıl oluşturulacağını öğrenmeden önce içerdikleri söz dizilimlerine bakmakta fayda var.
Robots.txt Sözdizimi
Bir robots.txt dosyasının sözdizimi şunlardan oluşuyor:
- Bir veya daha fazla “yönerge” kuralları vardır.
- Her birinin belirli bir “arama motoru botu” vardır.
- Ve bir “izin ver veya “izin verme” talimatı vardır.
Basit bir blog şöyle görünebilir:
Kullanıcı Aracısı Direktifi
Her direktif bloğunun ilk satırı, adreslendiği tarayıcıuı tanımlayan “user-agent” tır.
Örneğin: Google’ a WordPress yönetici sayfanızı taramasını söylemek isterseniz, yönergeleriniz şu şekilde başlar:
Çoğu arama motorunun birden çok gezgini olduğunu unutmayalım. Normal dizinleri, resimleri ve videolar için farklı tarayıcılar kullanırlar.
Arama motorları her zaman bulabilecekleri en spesifik direktif bloğu seçer.
Örneğin: Üç dizi direktifiniz var: biri için yıldız (*), biri “Google” için ve biri “Google-Image” için, biri “Google- New” kullanıcı aracıları sitenizi tararsa, Google yönergeleri izler.
Öte yandan, Google- Image kullanıcı aracısı, daha spesifik Googlebot- Image yönergelerini izleyecektir.
İzin Verme Direktifi
Herhangi bir direktif bloğundaki ikinci satır, “ İzin Verme” satırıdır.
Tarayıcının sitenizin hangi bölümlerine erişemeyeceğini belirten birden fazla izin vermeme yönergesine sahip olabilirsiniz.
Boş bir “İzin Verme” satırı, hiçbir şeye izin vermediğiniz anlamına gelir; böylece bir tarayıcı sienizin tüm bölümlerine erişebilir.
Örneğin: tüm arrama motorlarının sitenizin tamamını taramasına izin vermek isterseniz bloğunuz şöyle görünür:
Öte yandan, tüm arama motorlarının sitenizi taramasını engellemek isteseydiniz engellemeniz şöyle görünürdü:
“İzin Ver” ve “İzin Verm” gibi yönergeler büyük/küçük harfle duyarlı değildir, bu nedenle büyük harfle yazıp yazmamak size kalmış bir olaydır.
Ancak her Direktip içindeki değerler şu şekildedir:
Örneğin: /photo/ Photo/ ile aynı değildir.
Yine de, dosyayı insanların okumasıbı kolaylaştırdığından, “İzin Ver” ve “İzin Verme” yönergelerinin büyük harfle yazıldığı sıklıkla karşımıza çıktığını görürsünüz.
İzin Ver Yönergesi
“İzin Ver” yönergesi, arama motorlarının bir alt dizini veya belirli bir sayfayı, aksi halde izin verilmeyen bir dizinde bile taramasına izin verir.
Örneğin: Googlebot’ un bloğunuzdaki biri dışında her gönderiye erişmesini engellemek istiyorsanız, yönergeniz şöyle görünebilir:
Not: Tüm arama motorları bu komutu tanımaz. Google ve Bing bu yönergeyi desteklemektedir.
Site Haritası Direktifi
Site haritası yönergesi arama motorlarına, özellikle Bing, Yandex ve Google‘ a “XML” site haritanızı nerde bulacağını söyler.
Site haritaları genellikle arama motorlarının taramasını ve dizine eklenmesini istediğiniz sayfaları içerir. Bu yönergeyi bir robots.txt dosyasının en üstünde veya en altında bulabilirsiniz ve şöyle görünür:
Bununla birlikte “XML” site haritanız web yönetici araçlarını kullanarak her arama motoruna gönderebilirsiniz.
Arama motorları sonunda sitenizi tarar, ancak bir site haritası göndermek, tarama sürecini hızlandırır.
İstemiyorsanız, robots.txt dosyanıza bir “Site Haritası” yönergesi eklemek iyi bir hızlı alternatif olacaktır.
Tarama Gecikmesi Direktifi
“crawl- delay” yönergesi, saniye cinsinden bir tarama gecikmesi belirtir. Tarayıcıların bir sunucuya aşırı yük bindirmesini ve web sitenizin yavaşlatmasını durdurmak içindir. Ancak, Google artık bu yönergeyi desteklememektedir.
Googlebot için tarama hızınızı ayarlamak istiyorsanız, bunu Google Search Console’ da yapmanız daha faydalı olacaktır.
Bing ve Yandex ise “crawl-delay” yönergesini destelemektedir.
Bir tarayıcının her tarama işlemeninden sonra 10 saniye beklemesini istiyorsanız, gecikmeyi 10 olarak ayarlayabilirsiniz, şu şekilde:
Noindex Direktifi
Robots.txt dosyası, bir bot’ a neti tarayıp ne tarayamayacağını söyler, ancak bir arama motoruna hangi URL’ lerin dizine eklenemeyeceğini ve arama sonuçlarında gösterilmeyeceğini söylemez.
Sayfa, arama sonuçlarında görünmeye devam edecek, ancak bot içinde ne olduğunu bilmeyecek, dolayısıyla sayfanız şöyle görünecektir.
robots.txt tarafından indekslendi ve engellendi
Google bu yönergeyi hiçbir zaman resmi olarak desteklemedi, ancak SEO uzmanları yine de yönergeleri izlediğine inanıyor.
Ancak “1 Eylül 2019′ da” Google, bu yönergenin desteklenmediğini açıkca belirtti.
Bir sayfanın veya dosyanın arama sonuölarında görünmesini güvenilir bir şekilde hariç tutmak istiyorsanız, bu yönergeden tamamen kaçının bir “meta robots noindex etiketi” kullanın.
Robots.txt Dosyası Nasıl Oluşturulur
Halihazırda bir robots.txt dosyanız yoksa oluşturmak çok kolaydır.
Bir robots.txt dosyası oluştuma aracı kullanabilir veya kendiniz oluşturabilirsiniz.
Sadece dört adımda bir robots.txt dosyasını nasıl oluşturacağınız aşağıda açıklanmıştır:
- Bir dosya oluşturun ve robots.txt olarak adlandırın
- Robots.txt dosyasına kurallar ekleyin
- Robots.txt dosyasını sitenize yükleyin
- Robots.txt dosyasını test edin
1.Bir Dosya Oluşturun ve Robots.txt Olarak Adlandırın
Herhani bir metin düzenleyicide veya web tarayıcısında bir .txt belgesi açarak başlayın.
Not: Dosyaları genellikle rastgele karakterler eklyebilen tescilli bir biçimde kaybettikleri için kelime işlemci kullanmayın.
Ardından, belgeyi robots.txt olarak adlandırın. Çalışması için robots.txt olarak adlandırılmalıdır.
Artık yönergeleri yazmayı hazırsınız.
2.Robots.txt Dosyasına Direktifler Ekleyin
Bir robots.txt dosyası, bir veya daha fazla yönerge grubundan oluşur ve her grubun birden çok yönerge satırından oluşur.
Her grup bir “user-agent” ile başlar ve aşağıdaki bilgilere sahiptir.
- Grubun kime başvurduğu
- Aracın hangi dizinlere veya dosyalara erişebileceği
- Aracın hangi dizinlere veya dosyalara erişemeyeceği
- Arama motorlarına hangi sayfaların ve dosyaların önemli olduğunu düşündüğünüzü söyleyen bir site haritası
Tarayıcılar, bu yönergelerin hiçbiriyle eşleşmeyen satırları yok sayar.
Örneğin: Dahili kullanım için Google’ ın / chlients/ dizinini taramasını engellemek istediğinizi varsayalım.
İlk grup şuna benzer:
User-agent: Googleboy
Disallow:/clients/
Google için bunun gibi başka talimatlarınız olsaydı, bunları hemen aşağıdaki gibi ayrı bir satıra eklerdiniz:
User-agent: Googlebot
Disallow: /clients/
Disallow: / not-for-google
Google’ ın özel talimatlarıyla işiniz bittiğinde, yeni bir yönerge grubu oluşturmak için enter tuşuna iki kez basabilirsiniz.
Bu tüm arama motorları için yapalım ve /archive/ ve /support/ dizinlerinizi taramalarını önleyelim çünkü bunlar özel ve yalnızca dahili kullanım içindir.
Şöyle görünecektir:
User-agent: Googlebot
Disallow: /clients/
Disallow: /not-for-google
User-agent: *
Disallow: /archive/
Disallow: /support/
İşiniz bittiğinde, site haritanızı ekleyebilirsiniz.
Bitmiş Robot.txt dosyanız şuna benzer:
robots.txt dosyanızı mutlaka kaydedin. Unutmayın, robots.txt olarak adlandırılmalıdır.
Not: Tarayıcılar yukardan aşağı doğru okur ve en özel ilk kural grubuyla eşleşir. Bu nedenle, önce robots.txt dosyanızı belirli kullanıcı aracılarıyla başlatın ve ardından tüm tarayıcılarla eşleşen daha genel joker karaktere (*) geçin.
3.Robots.txt Dosyasının Yükleyin
Robots.txt dosyanızı bilgisayarınıza kaydettikten sonra sitenize yükleyin ve arama motorlarının taraması için uygun hale getirin.
Ne yazık ki, bu adımda yardımcı olabilecek evrensel bir araç yok.
Robots.txt dosyasının yüklenmesi, sitenixin dosya yapısına ve web barındırmaya bağlıdır.
Robots.txt dosyanızı nasıl yükleyeceğiniz konusunda yardım içi çevrimiçi arama yapın ve ya barındırma sağlayıcınıza ulaşın.
Örneğin: özel talimatlar almak için “robots.txt dosyasını WordPress’ e yükleyin” araması yapabilirsiniz.
Robots.txt dosyasını yükledikten sonra, herhangi birinin dosyayı görüp görmeyeceğini ve Google’ ın okuyup okumadığını kontrol edin.
İşte nasıl yapılır.
4. Robots.txt Dosyanızı Test Edin
Öncelikle, robots.txt dosyanızın herkesin erişimine açık olup olmadığını (yani, doğru bir şekilde yüklenip yüklenmediğini) test edin.
Tarayıcınızda özel bir pencere açın ve robots.txt dosyanızı arayın.
Örneğin: htpps://rabiabaser.com/robots.txt
Eklediğiniz içerikle birlikte robots.txt dosyanızı görürseniz, işaretlemeyi test etmeye hazırsınız demektir.
Google, robots.txt işaretlemesi test etmek için iki ayrı seçenek sunar.
- Search Console’ daki robots.txt Test Aracı
- Google’ ın açık kaynak robots.txt gelişmiş kitaplığı
İkinci seçenek daha çok ileri düzey geliştiricilere yönelik olduğundan, robots.txt dosyanızı “Search Console’ da test etmek daha kolay olacaktır.
Not: robots.txt dosyanızı test etmek için ayarlanmış bir Search Console hesabını olmalıdır.
- robots.txt Tester’ a gidin ve “robots.txt Tester’ ı Aç” a tıklayın.
Web sitenizi Google Search Console hesabınıza bağlanmadıysanız, önce bir mülk eklemeniz gerekir.
Ardından sitenin gerçek sahibi olduğunuzı doğrulamanız gerekir.
Mevcut doğrulanmış mülkleriniz varsa Test Kullanıcısının ana sayfasındaki açılır listeden bir mülk seçmelisiniz.
Test Cihazı, tüm sözdizimi uyarılarını veya mantık hatalarını belirleyecek ve bunları vurgulayacaktır. Ayrıca, düzenleyicisinin hemen altında size uyarı ve hata sayısını da göstermektedir.
Hataları veya uyarıları doğrudan sayfada düzenleyebilir ve tekrar tekrar test edebilirsiniz.
Sayfada yapılan değişiklerin sitenize kaydedilmediğini unutmayın. Test Aracı, sitenizdeki gerçek dosyada herhangi bir değişiklik yapmaz. Yalnızca araç’ da barındırılan kopyaya karşı test yapar.
Değişiklikleri uygulamak için bunları kopyalayıp sitenizdeki robots.txt dosyasına yapıştırın.
Profesyonel İpucu: Robots.txt dosyanızla ilgili yeni sorunları kontrol etmek için Site Denetimi aracıyla aylık teknik SEO denetimleri ayarlayın. Dosyanız’ da küçük değişikler bile sitenizin dizine eklenebilirliğini olumsuz etkileyebileceğinden, dosyanıza göz kulak olmak önemlidir.
Robots.txt En İyi Uygulamalar
Yaygın hatalardan kaçınmak için robots.txt dosyanızı oluştururken bu en iyi uygulamaları aklında bulundurun.
Her Direktif İçin Yeni Satır Kullanın
Her direktif yeni bir satır’ da oluşturulmalıdır.
Aksi taktirde, arama motorları bunlaru okuyamaz ve talimatlarınızı dikkate almaz.
Kötü:
User-agent: * Disallow: /admin/
Disallow: /directory/
İyi:
User-agent: *
Disallow: /admin/
Disallow: /directory/
Her Kullanıcı Aracısını Bir Kez Kullanın
Aynı user- agent’ ı birden çok kez girmeniz botlara aldırmaz.
Ancak, bir kez denenmesi, herşeyin derli toplu ve basit olmasını sağlar, insan hatası olasılığını azaltacaktır.
Kötü:
User-agent: Googlebot
Disallow: /example-page
User-agent: Googlebot
Disallow: /example-page-2
Googlebot User-agent’ ın nasıl iki kez listelendiğine dikkat edin.
İyi:
User-agent: Googlebot
Disallow: /example-page
Disallow: /example-page-2
İlk örnekte, Google yine de talimatları izler ve her iki sayfayı da taramaz.
Ancak, tüm direktifleri aynı user- agent altında yazmak daha temizdir ve düzenli kalmanıza yardımcı olmaktadır.
Yol Tariflerini Netleştirmek İçin Joker Karekterler Kullanın
Tüm kullanıcı aramalrına bir yönerge uygulamak ve URL kalıplarını eşleştirmek için joker karakterleri (*) kullanabilirsiniz.
Örneğin: Arama motorlarının parametreleri URL’ lere erişmesini engellemek istiyorsanız, bunları teknik olarak tek tek listeye bilirsiniz.
Kötü:
User-agent: *
Disallow: /shoes/vans?
Disallow: /shoes/nike?
Disallow: /shoes/adidas?
Ama bu verimsizdir. Yol tariflerinizi bir joker karakterle basitleştirebilirsiniz.
İyi:
User-agent: *
Disallow: /shoes/*?
Yukarıdaki örnek, tüm arama motorru botlarının soru işaretli /shoes/ alt klasör’ ü altındaki tüm URL’ leri taramasını engelleyecektir.
Bir URL’ nin Sonunu Belirlemek İçin “$” Kullanın
“$” eklemek, bir URL’ nin sonunu göstermektedir.
Örneğin: arama motorlarının sitenizdeki tüm “jpg” dosyalarını taramasını engellemek istiyorsanız, bunları ayrı ayrı listelemeniz gerekebilir.
Bu listelemede verimsiz olur.
Kötü:
User-agent: *
Disallow: /photo-a.jpg
Disallow: /photo-b.jpg
Disallow: /photo-c.jpg
“$” özelliği şu şekilde kullanmak çok daha verimli olacaktır.
İyi:
User-agent: *
Disallow: /*.jpg$
Not: Bu örnekte,/dog.jpg taranamaz, ancak “.jpg” ile bitmediği için /dog.jpg?p=32414 taranabilir.
“$” ifadesi, yukarıdaki gibi belirli durumlarda yararlı bir özelliktir, ancak teklide yaratabilir.
İstemediğiniz şeylerin engellerini kolayca kaldırabilirsiniz, bu yüzden bunu uygularken dikkat etmelisiniz.
Yorum Eklemek İçin Hash (#) Kullanın
Tarayıcılar, Hash (#) ile başlayan herşeyi yok sayar.
Bu nedenle geliştiriciler, robots.txt dosyasına yorum eklemek için genellikle bir karma düzeyi kullanır. Dosyanın düzenli ve kolay okunmasına yardımcı olur.
Yorum ekmek için satıra bir kare (#) ile başlayın.
Geliştiriciler, kullanıcıların nadiren gördüklerini bildikleri için robots.txt dosyalarına zaman zaman komik mesajlar ekleyebilirler.
Örneğin: YouTube’ un robots.txt dosyası şu şekildedir.
“Uzak bir gelecekte(2000 yılı), 90′ ların ortalarındaki tüm insanları yok eden robotik ayaklanması.”
Robots.txt dosyaları, yalnızca barındırıldıkları alt alanladaki tarama davranışı kontrol eder.
Bu nedenle, farklı bir alt alanda taramayı kontrol etmek istiyorsanız, ayrı bir robots.txt dosyasına ihtiyacınız vardır. Ana siteniz “domain.com’ da” ve bloğunuz “blog.domain.com alt etki alanındaysa, iki robots.txt dosyasına ihtiyaç duyabilirsiniz
Biri ana etken alanının kök dizini, diğeri ise bloğunuzun kök dizini içindir.
Keşfetmeye Devam Edin
Artık robots.txt dosyalarının nasıl oluşturulduğunu ve çalıştığını anladığınıza göre, başka merak ettiğiniz bir kaç makaleye buradan ulaşabilirsiniz.
- SEO Nedir? ( Kapsamlı Rehber )
- HTPP Durum Kodları
- Google Arama Operatörleri (Kapsamlı Liste)
- Meta Açıklama Nedir? Nasıl Yazılır? ( Örneklerle)