Hit enter to search or ESC to close

SEO Grundlagen – Robots und Sitemap (Teil 3)

Fabian

Google liebt strukturiertes Vorgehen und einen gut durchdachten Seitenaufbau. Daher ist es hilfreich Google’s internes Webmaster Tool zu benutzen. Hier können Robots und Sitemaps eintragen werden – dies hilft enorm, vor allem neuen Seiten, bei der Indizierung durch Google. Gleiches gilt natürlich auch für die Webmaster Tools von Bing und Yahoo.

Robots.txt

In der Robots geben wir zuerst an wo unsere Sitemap liegt:

Sitemap: http://beispielseite.de/sitemap.xml

Als nächstes sagen wir dem Crawler, der unsere Seite durchforstet und alles aufnimmt was er findet, welche Seiten und Strukturen er nicht berücksichtigen soll. Denn viele Seiten haben Google und Co. nicht zu interessieren und sollte ausgeschlossen werden.

Hier sagen wir Google bzw. dem User-agent (steht für alle Suchmaschinen-Bots), welche Seiten nicht gecrawlt werden sollen. Dazu zählen hauptsächlich typische Seiten unseres Content-Management-System. Da diese nicht im entferntesten für Google oder den Besucher relevant sind gehören sie ausgeschlossen.

Update vom 14.11.2018: Google erkennt seit einiger Zeit Designs und bewertet somit die Usability einer Webseite. Dafür dürfen Ordner wie themes und caches nicht auf Disallow stehen.

User-agent: *
Disallow: /wp/cgi-bin/
Disallow: /wp/wp-admin/
Disallow: /wp/trackback/
Disallow: /wp/feed/
Disallow: /wp/comments/
Disallow: /wp/category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?

Oben WordPress, unten Magento. Disallow zeigt an, welche Pfade, Dateien, Strukturen, Inhalte etc. vernachlässigt werden können.

Disallow: /*?
Disallow: /newsletter/
Disallow: /report/
Disallow: /sendfriend/
Disallow: /contacts/

Natürlich könnte die Magento-Datei noch um etliche Disallow-Regeln verfeinert werden, dies würde jedoch den Rahmen sprengen.

Sitemap

Die Sitemap kann man sich wie einen Strukturbaum der eigenen Website vorstellen. Er gibt an, welche Seiten zu finden sind und wie häufig diese verändert werden. Bei einer Neuigkeitenseite ist die Wahrscheinlichkeit höher, das neue Inhalte geliefert werden, als auf der Kontaktseite. Die Sitemap sollte man nicht per Hand erstellen, sondern sich diversen Plugins bedienen. Magento bietet von Haus aus die Funktion der Sitemaperstellung (hier nicht vergessen einen Cronjob für die nachhaltige Erstellung einzurichten) – WordPress kann über das Plugin XML-Sitemap eine gute Sitemap ausgeben.

Sobald wir beides angelegt haben, geht es direkt zu Google -> Webmaster Tools

Hier tragen wir dann unsere Robots und die Sitemap ein. Dazu müssen wir vorab Google davon überzeugen, dass es sich wirklich um unsere Website handelt. Dies kann man regeln, indem man eine von Google bereitgestellte HTML-Datei via FTP auf den Server lädt. Google sieht diese Datei dann und identifiziert sie als Owner. Danach gibt man Google noch den Hinweis wo die Sitemap liegt und schon kann man sich entspannt zurück lehnen und warten das Google seine Arbeit tut. Dies dauert unterschiedlich lange – bis alle Seiten indiziert sind kann es schon 4-6 Wochen dauern. Je nachdem wie viel Content (Inhalt) man Google liefert auch länger.