Robots Exclusion Protocol – unavailable_after und X-Robot Tag dem Robots Exclusion Protocol hinzugefügt
Google hat gestern den angekündigten Metatag CONTENT=unavailable_after: DATUM, sowie die X-Robot Tag Erweiterung dem Robots Exclusion Protokoll (REP) hinzugefügt, ist einem Posting im offiziellen Google Weblog zu entnehmen.

Das unavailable_after Meta erlaubt es Webseiten Betreibern, einzelne Seiten zusätzlich mit einem Datum zu versehen, bis wann das Dokument für Google in den Suchergebnissen gezeigt werden soll. Ist das angegebene Datum eingetroffen, so wird die entsprechende Webseite in den Suchergebnissen nicht mehr angezeigt, bleibt jedoch im Google Index erhalten. Das Datum und die Uhrzeit hinter dem unavailable_after: entspricht dem RFC 850 Standard.

Weiterhin erlaubt es Google, das Webseiten Betreiber Metatags auch in den HTTP-Header einzubinden, so man auch X-Robot Tags auch in Nicht-HTML-Dateien eingebunden werden können. Nachfolgend ein paar Beispiele für den Einsatz des X-Robot Tags:
Zeige nicht den “Cache” Link oder ein Snippet zum Dokument in den Google Suchergebnissen:
X-Robots-Tag: noarchive, nosnippet
Füge dieses Dokument nicht den Google Such Resultaten hinzu:
X-Robots-Tag: noindex
Teile dem Googlebot mit, das für Google die Seite nicht mehr erreichbar sein soll, ab dem 7. Juli 2007, 16:30 Uhr GMT:
X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT
Ebenso ist es möglich, mehrere Kombinationen der X-Robot Tags im gleichen Dokument anzugeben, zum Beispiel:
Zeige keinen Cache-Link zum Dokument, weiterhin entferne das Dokument aus dem Google Index, nach dem 23. Juli 2007, 15 Uhr PST:
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST
Weitere Informationen zu den Directiven für den X-Robot Tag, sowie dem unavailable_after Metatag als Erweiterung im Robots Exclusion Protocol, findest Du im Web auf googlified.com und im offiziellen Google Blog.




Am 11. September 2007 um 13:36 Uhr
[...] um Juli dieses Jahres hatte Google ja 2 neue Metatags eingeführt (u.a. hier, hier und hier nachzulesen) und ich denke, es ist nun an der Zeit sich mal nach den ersten Erfahrungen zu [...]