StellenCrawler
StellenCrawler ruft öffentlich zugängliche Stellenanzeigen, Impressen, Unternehmensseiten und Pressemeldungen von Firmen im deutschsprachigen Raum ab. Aus den Angaben entsteht für Personalberatungen eine Übersicht, welche Firmen gerade Stellen besetzen oder wachsen. Gespeichert werden Stellentexte und Firmendaten mit Quelle und Datum.
So verhält sich der Abruf
- Er hält sich an robots.txt, auch an Crawl-delay.
- Er ruft jede Domain höchstens alle zwei Sekunden ab, je Seite höchstens einmal am Tag.
- Er meldet sich nirgends an und ruft nichts hinter einer Anmeldung ab.
- Er umgeht keinen Bot-Schutz. Sperrt eine Seite ihn aus, lässt er sie aus.
- Er gibt sich im User-Agent zu erkennen als StellenCrawler/1.0 (+https://stellen-crawler.de/bot).
Abruf ausschließen
Ein Eintrag in der robots.txt Ihrer Seite genügt:
User-agent: StellenCrawler Disallow: /
Sie können uns auch schreiben; dann nehmen wir Ihre Domain dauerhaft vom Abruf aus.
Betreiber und Kontakt
- Betreiber
- Johannes Maier
- Beschwerden
- abuse@stellen-crawler.de