Hur fungerar filen robots.txt?
2011-02-07Precis som andra sökmotorer undersöker SiteSeeker filen robots.txt om en sådan finns i webbserverns rotkatalog.
I robots.txt filen kan en systemadministratör förbjuda vissa eller alla sökmotorer att hämta filer i angivna kataloger. Det kan vara bra att ha en sådan fil av flera skäl: Du kan se till att sökmotorerna inte ger oönskade dokument som resultat och att sökmotorerna inte belastar din webbserver genom att hämta filer i onödan. Om man ser konstiga eller orimligt många sökfrågor i sökstatistiken kan man behöva undanta söksidan från indexering.
Vill du göra speciella regler för SiteSeeker i robots.txt, är det bra att veta att SiteSeekers sidhämtare kallar sig SiteSeekerCrawler/1.0.
Här kan du läsa mer om robots.txt: www.searchtools.com/robots/robots-txt.html. Du kan få din robots.txt kontrollerad här: validator.czweb.org/robots-txt.php.