How to restrict bot access

Introduktion

Søge maskiner er robotter som søger kigger på din hjemmeside for at lave en oversigt på deres søge sider. Dette er dog meget vigtig at robotter komme forbi din hjemmeside og laver en masse henvisninger til din side. Da så andre kan finde dig via. deres søgemaskiner, det kan derved så skabe god trafik til din hjemmeside.
Med dette sagt skal det dog så siges at det også kan skabe problemmer på din side som gør at du få brugt din hjemmeside bandwidth.

Denne artikel vil beskrive hvordan du kan begrænse dette for nogle søgemaskiner. Nogle søgemaskiner respektere dog ikke disse regler, men disse søgemaskiner skal man dog helst ignore eller sørge for at banne fra din hjemmeside.

Fil navn og format

Søge maskiner vil kigge på din hjemmeside efter en fil med navn "Robot.txt". Denne fil fortæller robotten hvad den må, ikke må, kan, kan ikke.

Måden filen er skrevet på skal være meget præcis og gå efter The Robots Exclusion Standard regler. Som er som følgende

<felt> ":" <value>

Bruger Agent

Du kan bruge User-agent til af definer regler for en bestemt robot, hvis nu du vil have andre regler for en robot du godt kan lide eller en du hader.

User-agent: googlebot

Så er du ved at definer relger for googlebot's

User-agent: *

Er for ALLE robotter.

Tillad / Nægte adgang

Du kan ved at bruge Disallow og Allow definer om robotten skal have adgang til fil/mappe.

Eksempel:

Disallow: email.htm

Giver ikke adgang til filen email.htm.

disallow: /cgi-bin/

Giver ikke adgang til mappen cgi-bin

Komentar

Du kan skrive kommentar til dine forskellige tilladelse ved at bruge # efter som eksempel følgende

Disallow: bob #comment

Gode Eksempler at bruge

Eksempel 1

User-agent: *
Disallow: /phpgedview/reportengine.php
Disallow: /phpgedview/fanchart.php
Disallow: /phpgedview/search.php
Disallow: /phpgedview/login.php
Disallow: /phpgedview/clippings.php
Disallow: /phpgedview/sosabook.php
Disallow: /phpgedview/timeline.php
Disallow: /phpgedview/calendar.php
Disallow: /phpgedview/images/

Eksempel 2

User-agent: *
Disallow: /bin/
Disallow: /cgi-bin/
Disallow: /dev/
Disallow: /mypostnuke/
Disallow: /phpfunc/
Disallow: /phpGedView/reportengine.php
Disallow: /phpGedView/fanchart.php
Disallow: /phpGedView/search.php
Disallow: /phpGedView/login.php
Disallow: /phpGedView/clippings.php
Disallow: /phpGedView/sosabook.php
Disallow: /phpGedView/timeline.php
Disallow: /phpGedView/calendar.php
Disallow: /phpGedView/hourglass.php
Disallow: /phpGedView/ancestry.php
Disallow: /phpGedView/descendancy.php
Disallow: /phpGedView/pedigree.php
Disallow: /phpGedView/family.php
Disallow: /phpGedView/relationship.php
Disallow: /phpGedView/famlist.php
Disallow: /phpGedView/patriarchlist.php
Disallow: /phpGedView/repolist.php
Disallow: /phpGedView/aliveinyear.php

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /