SEO: Google und Robots-Meta-Tags
Eine Unternehmenswebsite zu pflegen bringt viele Aufgaben mit sich. Vor allem, wenn sie von Kunden gut gefunden werden soll. Viele Maßnahmen, die im Rahmen der Suchmaschinenoptimierung auf der Website durchgeführt werden, sind für Besucher direkt wahrnehmbar. Beispielsweise, wenn ein Text angepasst oder die Ladezeit verbessert wird.
Es gibt aber auch SEO-Maßnahmen, die nicht unbedingt für Menschen gedacht sind – zumindest nicht primär. Darunter die Steuerung von Websitecrawlern. Im Hinblick auf die Indexierung einer Website und deren Darstellung in den Suchergebnissen nimmt der Einsatz von Robots-Meta-Tags eine wichtige Rolle ein.
- Was ist und was macht der Googlebot?
- Grundlagen zu Robots-Meta-Tags
- Mögliche Anweisungen an den Webcrawler
- Bedeutung der rel-Attribute bei Links
- Fazit: Technisches SEO ist oft unsichtbar
Was ist und was macht der Googlebot?
Vereinfacht gesagt ist Google eine Suchmaschine, die genutzt wird, um Informationen im Internet zu finden. Seien es Produkte, Ratgeber, Firmendaten, Nachrichten und Presseartikel oder weitere Themen: Diese Informationen befinden sich auf Websites. Googles Aufgabe ist es, den Suchenden relevante Websites zu ihrer Anfrage in den Suchergebnissen zu präsentieren.
Doch woher weiß Google, welche Websites es überhaupt im Internet gibt?
Damit eine Website in den Suchergebnissen vorgeschlagen werden kann, muss sie zuerst von Google erfasst werden. Hier kommt der Googlebot ins Spiel. Der Googlebot ist ein Webcrawler. Eine Art Programm, die einen echten Website-Besucher simuliert. Der Googlebot durchstöbert Websites, springt von Link zu Link, sammelt die gefundenen Informationen und gibt sie an Google weiter. Dort werden die Daten mitsamt Content interpretiert und in den Index aufgenommen. Dieser Index ist wiederum die Datenbank, aus der Google die Suchergebnisse zusammenstellt. Kurzum:
- Crawlen: Untersuchung einer Website durch den Googlebot
- Indexierung: Aufnahme der Website in den Google-Index
Für die Suchmaschinenoptimierung ist es natürlich grundlegend, dass eine Website im Google-Index aufgenommen wurde. Dabei gibt es viele Wege, über die der Googlebot auf eine Website gelangen kann. Firmen können ihre Unternehmens-Website manuell über die Google Search Console einreichen, crawlen und indexieren lassen. In der Search Console sieht man auch, ob eine URL indexiert wurde oder nicht. Eine weitere Möglichkeit besteht über Links von fremden Websites, welche auf den eigenen Internetauftritt verweisen.
Grundlagen zu Robots-Meta-Tags
Während der Googlebot eine Website crawlt, untersucht er verschiedene Dinge. Er sieht einerseits die Inhalte, die ganz normal auf einem Bildschirm zu sehen wären. Er liest aber auch den Seitenquelltext und die darin enthaltenen Angaben. Im Header-Bereich des HTML-Dokuments können ihm Website-Betreiber bestimmte Anweisungen geben, die sein Verhalten beeinflussen. Das sind die sogenannten Robots-Meta-Tags.
Robots-Meta-Tags werden verwendet, um zu steuern, ob und wie Suchmaschinen die Website indexieren und in den Suchergebnissen anzeigen sollen. Im Rahmen der technischen Suchmaschinenoptimierung sind sie ein nützliches Instrument, um die Sichtbarkeit und Kontrolle über die Website in den Suchergebnissen aktiv zu beeinflussen. Der elementare Aufbau eines Robots-Meta-Tags sieht wie folgt aus:
Der erste Abschnitt (meta name) beschreibt die Eigenschaft und Funktion des Tags. Mit dem Attribut „robots“ werden alle Webcrawler angesprochen. Möchte man nur den Googlebot ansprechen, fügt man entsprechend „googlebot“ ein. Dementsprechend kann man verschiedenen Webcrawlern unterschiedliche Anweisungen geben. Welche Anweisungen sie erhalten, definiert der zweite Abschnitt (content).
Mögliche Anweisungen an den Webcrawler
Welche Anweisungen man dem Webcrawler nun geben möchte, hängt ganz vom Ziel ab. Wünscht man beispielsweise, dass eine Seite nicht indexiert wird, wird die Regel „noindex“ hinterlegt. Soll die Seite indexiert werden, jedoch keinen Links auf der Seite gefolgt werden, wendet man die Regel „noindex“ an. Dementsprechend ist auch eine Kombination an Direktiven möglich, sofern sie sich nicht gegenseitig ausschließen. Hier ein Überblick zu den Anweisungen, die vom Googlebot unterstützt werden:
content=“all“
Erlaubt dem Webcrawler, die Seite zu indexieren und den Links auf der Seite zu folgen.
content=“noindex“
Verbietet dem Webcrawler, die Seite zu indexieren und in den Suchergebnissen anzuzeigen.
content=“nofollow“
Verbietet dem Webcrawler, Links auf der Seite zu folgen.
content=“none“
Verbietet dem Webcrawler, die Seite zu indexieren und den Links auf der Seite zu folgen.
content=“noarchive“
Verhindert die Anzeige einer gecachten Version der Seite in den Suchergebnissen.
content=“nositelinkssearchbox“
Verhindert die Anzeige einer Suchbox für die Seite in den Suchergebnissen.
content=“indexifembedded“
Ermöglicht die Indexierung bei Einbettung der Website auf anderen Seiten.
content=“notranslate“
Verhindert eine mögliche Übersetzung der Seite mit dem Google Übersetzer.
content=“noimageindex“
Verhindert die Indexierung von Bildern auf der Seite.
content=“unavailable_after“
Ablaufdatum, ab dem die Seite nicht mehr in den Suchergebnissen angezeigt wird.
content=“nosnippet“
Verhindert die Ausspielung eines Text- oder Video-Snippets in den Suchergebnissen.
content=“max-snippet“
Gibt die maximale Länge eines Text-Snippets in Zeichen vor.
- Die Angabe „0“ bedeutet, dass kein Text-Snippet angezeigt werden soll.
- Die Angabe „-1“ bedeutet, dass es kein festgelegtes Limit gibt.
content=“max-video-preview“
Gibt die maximale Länge eines Video-Snippets in Sekunden vor.
- Die Angabe „0“ bedeutet, dass kein Video-Snippet angezeigt werden soll.
- Die Angabe „-1“ bedeutet, dass es kein festgelegtes Limit gibt.
content=“max-image-preview“
Gibt die maximale Größe eines Vorschaubildes in den Suchergebnissen vor.
- „none“: Kein Vorschaubild darf angezeigt werden.
- „standard“: Ein Vorschaubild darf angezeigt werden.
- „large“: Das Vorschaubild darf so groß wie möglich angezeigt werden.
Bedeutung der rel-Attribute bei Links
Soweit nicht anders vorgegeben, folgen Webcrawler wie der Googlebot den Links auf einer Seite zur nächsten Seite. Als wichtiger Ranking-Faktor in der Suchmaschinenoptimierung spielen nicht nur die Qualität und Relevanz, sondern auch die Ausgestaltung der Links eine wichtige Rolle. Ein besonderes Attribut ist hierbei „rel“, zum Beispiel:
Mit dem rel-Attribut können Website-Betreiber die Beziehung zwischen der linkenden und der verlinkten Seite angeben. Ein weiteres Mittel, mit dem das Crawl-Verhalten und die Interpretation der gefundenen Daten – in diesem Falle der Links – beeinflusst werden kann.
rel=“nofollow“
Das nofollow-Attribut weist den Crawler darauf an, dem Link nicht zu folgen und die „Linkjuice“ der eigenen Website nicht an die Zielseite zu vererben. Seit dem 01. März 2020 ist dieses Attribut jedoch nur ein Hinweis für den Googlebot und kein eindeutiges Verbot. Hier gibt es weitere Informationen zur Weiterentwicklung von „nofollow“ direkt von Google.
rel=“sponsored“
Ein Attribut für Links, die gekauft oder anderweitig erworben wurden. Dieses rel-Attribut macht deutlich, dass es sich um Werbung oder ein Sponsoring handelt.
rel=“ugc“
Die Abkürzung „ugc“ steht für User Generated Content, also von Nutzern erstellte Inhalte. Dieses rel-Attribut wird vor allem in Foren und Kommentarspalten angewandt, um aufzuzeigen, dass der Link von einem Nutzer stammt.
Fazit: Technisches SEO ist oft unsichtbar
Die technische Suchmaschinenoptimierung findet häufig hinter den Kulissen statt. Maßnahmen wie die Einbindung der Robots-Meta-Tags und Link-Attribute sind auf den ersten Blick nicht ersichtlich, jedoch nicht weniger wichtig. Zur Arbeit einer SEO-Agentur gehört es dazu, sich auf der Website auch um die Dinge zu kümmern, die Besucher nicht erkennen können. Darunter die Sicherherstellung einer einwandfreien Indexierung und korrekten Auszeichnung der Links. So wird die Unternehmenswebsite Schritt für Schritt im Frontend, Backend und überall dazwischen auf Erfolgskurs gebracht.
