Robots Exclusion Standard = dient als "Türsteher". Betreiber haben die Möglichkeit, ausgesuchte Bereiche ihrer Webpräsenz für Webcrawler zu sperren.
RES: Beispiel Befehle |
--> Bsp: "site:http://www.muster.de"
--> Tool: xml-sitemaps.com
Wordpress Themes
Google Webmaster Tools = ist ein kostenloser Webservice von Google. Über die Tools erhält man Informationen über die eigene Website, die nicht öffentlich verfügbar sein sollen. So sieht man unter anderem, welche Websites auf die eigene Domain verlinken, zu welchen Suchbegriffen die eigene Domain in der Google-Suche gefunden wird und ob sowie welche Probleme beim Crawling festgestellt wurden.
Google Webmaster e-Book
Tool: RSS Feedreader = Fasst aktuelle News von Seiten in Liste zusammen