NotenSucheBot

NotenSucheBot ist der Name für den Web-Crawler von dieser Webseite. Er durchsucht ihre Webseite auf Links und schickt die von Ihnen zur Verfügung gestellten Informationen zur Webseite notensuche-online.de.

Wenn Ihre Webseiten vom NotenSucheBot besucht werden, dann sehen Sie das in Ihren Log-Dateien am User-Agent-String. Er wird gekennzeichnet wie folgt:
NotenSucheBot/1.0 (https://notensuche-online.de/include/bot.php)

NotenSucheBot für das Crawlen Ihrer Website blockieren
Es ist praktisch unmöglich, einen Webserver geheim zu halten, indem Sie keine Links zu ihm veröffentlichen. Sobald beispielsweise jemand einem Link von Ihrem "geheimen" Server zu einem anderen Server folgt, kommt Ihre "geheime" URL im Verweis-Tag vor und kann von dem anderen Webserver in dessen Verweisprotokoll gespeichert und veröffentlicht werden.

Außerdem gibt es im Web zahlreiche veraltete und fehlerhafte Links. Sollte jemand einen falschen Link zu Ihrer Website veröffentlichen oder die Links nicht aktualisieren, wenn sich auf Ihrem Server etwas ändert, versucht der Bot einen falschen Link von Ihrer Website zu crawlen.

Wenn Sie nicht möchten, dass der NotenSucheBot Inhalte auf Ihrer Website crawlt, haben Sie verschiedene Möglichkeiten. Sie können verhindern,
- dass der NotenSucheBot eine Seite crawlt,
- dass der NotenSucheBot sie indexiert,
- oder dass sowohl Crawler als auch Nutzer überhaupt auf die Seite zugreifen können.

Die Datei robots.txt wird hierfür berücksichtigt. Sie teilt dem Crawler mit, welche Seiten oder Dateien der Crawler von Ihrer Webseite anfordern kann und welche nicht.