Cevapla
 
Konu Araçları
Eski 19-05-19, 18:34 #1
Proff11 Proff11 çevrimdışı
Varsayılan Robots.txt dosyası


Neden robots.txt dosyasına ihtiyacım var?

Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.
Neden örümcekleri engellemek isteyebilirim?

1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden örümcekleri engellemek isteyebilirim?

Robots.txt dosyası oluşturmak

Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Robots.txt ile belirli bir dosyayı belirli bir bottan korumak

Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler

Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsayacaktır.

Tüm robotlara kayıt izmi vermek

Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Tüm robotları dosya ve klasörlerinizden uzak tutmak

Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.
User-agent: *
Disallow:

Robots.txt ile birden fazla klasör engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin
Disallow: /_borders
Disallow: /_derived
Disallow: /_fpclass
Disallow: /_overlay
Disallow: /_private
Disallow: /_themes
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_map
Disallow: /_vti_pvt
Disallow: /_vti_txt

Her klasör için ayrı bir komut yazmak en verimlisidir.

Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.

User-Agent: Scooter
Disallow:

Google'ın resim dosyalarımızdan uzak durmasını istiyorsak

User-Agent: Googlebot-Image
Disallow: /images

Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman

User-Agent: Googlebot-Image
Disallow:


Alıntıdır.
__________________
  Alıntı Yaparak CevaplaAlıntı Yaparak Cevapla
Cevapla

Bu konunun kısa yolunu aşağıdaki sitelere ekleyebilirsiniz

Taglar
bir, disallow, kayıt, robots.txt, user-agent

Konu Araçları

Gönderme Kuralları
Yeni konu açamazsınız
Cevap yazamazsınız
Dosya gönderemezsiniz
Mesajlarınızı düzenleyemezsiniz

BB code is Açık
Smiley Açık
[IMG] kodu Açık
HTML kodu Kapalı



Tüm saatler GMT +3. Şuan saat: 09:35
(Türkiye için artık GMT +3 seçilmelidir.)

 
5651 sayılı yasaya göre forumumuzdaki mesajlardan doğabilecek her türlü sorumluluk yazan kullanıcılara aittir. Şikayet Mailimiz. İçerik, Yer Sağlayıcı Bilgilerimiz. Reklam Mailimiz. Gizlilik Politikası. Tatil
Copyright © 2018