Mavi Forum
Forumumuza Hosgeldiniz;


İyi Vakit Gecirmenizi Dileriz.

Sitemizde Rahatca Gezebilirsiniz

Ancak İçerikleri İndirebilmek İçin

===>Giriş Yapmanız Gerekmektedir.<===



 
HomeHome  Log inLog in  RegisterRegister  

Konu Başlığı
Robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?
Konun Puanı
Nerdeyim?Mavi Forum :: Webmaster :: Webmaster Genel Konular
Gözle
Share|

Robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?

View previous topic View next topic Go down
AuthorMessage
~> SeRHaT <~
Yönetici
Yönetici
avatar
<b><center><font color="white"><marquee direction="left" style="background:blue">1 Numaralı Paylaşım Forumu</marquee></font></center></b>
Cinsiyet : Male
Mesaj Sayısı : 164
Rep Gücü : 2058
Doğum tarihi : 1986-11-10
Kayıt tarihi : 2010-02-16
Yaş : 32
Nerden : İstanbul
İş/Hobiler : WeBMaSTeR
http://redturk.forum.st/forum.htm
PostSubject: Robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır? Thu May 20, 2010 2:20 am

obots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?



robots.txt Nedir?

Eğer yeni bir site oluşturmuşsanız; arama motorlarına yardımcı olmak
için robots.txt dosyasını da oluşturmanız kesinlikle önerilir.
robots.txt dosyası sitenizin bazı bölümlerinin arama motorlarları
tarafından indexlenmemesi için kullanılır.
Mesela yeni bir site oluşturdunuz. Sitenizin anasayfasını tamamladınız.
Eğer alt sayfaları oluşturmuşsanız ve içeriği sonra eklemeyi
düşünüyorsanız; arama motorlarının içerik eklenmemiş sayfaları
indexlemesi işinize yaramaz. Bu durumda henüz hazır olmayan sayfalardan
arama motoru robotlarını uzak tutabilirsiniz. Daha sonra sayfalara
içerik eklediğiniz zaman robots.txt dosyasını değiştirerek robotlara
izin verirsiniz.

robots.txt Nasıl
Oluşturulur:

Genel Kullanımı:

User-agent: *
Disallow: /

User-agent:

Robot ismi burada belirtilir. * karakteri hepsi anlamına gelir. Yani
bütün robotları ifade eder. Mesela User-agent: Googlebot ile sadece google botlarını ifade edebilirsiniz. Ya da User-agent: Scooter ile sadece Altavista botlarını ifade edebilirsiniz. Ama
genellikle * ile tamamı ifade edilir.

Disallow:

Robotların ziyaret etmesini istemidiğiniz sayfaları burada
belirtirsiniz. Mesela Disallow:
/ ifadesi ile sitenizdeki bütün
sayfalara robotların girişini
engellersiniz. Disallow:
ifadesi ile de sitenizdeki bütün sayfaları
robotların indexlemesini söylemiş olursunuz.
Disallow: /cgi-bin/
ifadesi ile de cgi-bin klasörünün robotlar tarafından indexlenmemesini
söylemiş olursunuz.

robots.txt
Kullanım Örnekleri:

User-agent:
*
Disallow: /
Bütün robotların siteden uzak durmasını sağlar.

********************************************
User-agent: *
Disallow:
Bütün robotların sitedeki bütün sayfaları
indexlemesine izin verir.

********************************************
User-agent: *
Disallow:
/cgi-bin/
Disallow: /resimler/
Disallow: /siirler/

cgi-bin, resimler, siirler
klasörleri içindeki sayfaları robotlar indexleyemez. Diğer sayfaları
indexleyebilir.

********************************************

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:
Google robotu
siteyi indexleyemez. Diğer bütün robotlar siteyi indexleyebilir.

********************************************

Herhangi Bir Sayfanın İndexlenmesini Önlemek:

Sayfaların meta bölümünden de sayfanın indexlenmesi
önlenebilir. Bunu yapabilmek için head tagları arasına aşağıdaki gibi
kodlar eklenmelidir.
NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>Bu metayı
eklediğiniz sayfayı robot gördüğü zaman bu sayfayı indexlemez ve
sayfadaki linkleri takip etmez.name=robots>
Bu meta ise bütün robotların sayfayı indexlemesini ve
sayfadaki linkleri takip etmesini söyler.

Not : robots.txt dosyası ana dizinde(root)
olmalıdır. Alt dizinlere yerleştirilmez.


Serhat

Robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?

View previous topic View next topic Back to top
Page 1 of 1

Permissions in this forum:You cannot reply to topics in this forum
Mavi Forum :: Webmaster :: Webmaster Genel Konular-
 
Create a forum on Forumotion | © phpBB | Free forum support | Contact | Report an abuse | Forumotion.com