Suchmaschinen und dynamisch generierte URL – das ist bekanntermaßen eine schwierige Sache. Yahoo hat sich diesem Problemfall nun angenommen und bietet eine Lösung, wie das @-web Suchmaschinen Weblog berichtet:
In Verbindung mit dem Yahoo! Siteexplorer können Besitzer von Websites erklären, welche URL nicht gecrawlt werden brauchen. Webmaster müssen Yahoo! lediglich über die Parameter informieren, welche von den Yahoo! Crawlern ignoriert werden können. Die URL werden im Yahoo! Search Explorer daraufhin automatisch neu geschrieben. Sie prüfen und bestätigen diese Änderungen. Anschliessend werden die Yahoo! Crawler mit diesen Informationen gefüttert, die erfassten URL werden auf ein sinnvolles Mass reduziert.
Die Beschreibung im Hilfe-Artikel von Yahoo macht das Prinzip noch klarer: Man gibt einfach an, welche Bestandteile der dynamisch generierten URL praktisch "herausgeschnitten" werden sollen:
Für diese Parameter können Sie angeben, ob Sie möchten, dass wir die URL dahingehend verändern, dass wir die Parameter entfernen oder durch einen Standradwert ersetzen. Zum Beispiel:
- Wenn Sie auf Ihrer Site ’src‘ benutzen, um die Herkunft des Traffics zu erfassen, können Sie darum bitten, dass der Parameter ’src‘ aus der URL entfernt wird. Dies würde dazu führen, dass die URLs auf Ihrer Website wie folgt umgeschrieben werden:
- http://example.com/blog?src=feed – wird geändert in:
- http://example.com/blog
- http://example.com/store?prod=4&src=ysm – wird geändert in:
- http://example.com/store?prod=4
- Wenn Sie auf Ihrer Website ’sid‘ verwenden, um die Nutzer-Sessions zu halten und ihre Site unterstützt keine Methode, ohne Sessions genutzt zu werden (*wie Onlineshops), dann können Sie für Y! Search eine Standard-Session-ID definieren und alle unsere Crawler werden die URLs Ihrer Site so umschreiben, dass genau diese Session-ID (*im Beispiel ‚yslurp12‘) genutzt wird:
- http://example.com/store?prod=4&sid=jnd7234x – wird geändert in:
- http://example.com/store?prod=4&sid=yslurp12
- http://example.com/catalog?cat=toys&sid=kasfh234 – wird geändert in:
- http://example.com/catalog?cat=toys&sid=yslurp12
(Übersetzung von mir; ‚(*‘ – Zusatzbemerkungen von mir)
Das ist eine prima Sache, denn so wird das Crawlergebnis verbessert und damit auch die Qualität der Suchergebnis-Ausgaben. Und dies kommt dann auch den Nutzern zugute: Denen der Suchmaschine (und ja, auch Yahoo wird als Suchmaschine genutzt!) und den darüber gewonnenen Kunden des Shops…
Herzlich aus Hürth
Nicola Straub