Web Crawler

netEstate hat jahrelange Erfahrung in der Programmierung von Crawlern. Für unsere Kunden haben wir Crawler programmiert, die Daten und Content verschiedenster Art extrahieren:

Firmennamen
Firmenbeschreibungen
Adressen
Kontaktdaten (Tel/Fax/Email)
Pressemeldungen
Automatische Erstellung von Sitemaps
Daten aus Tabellen
etc.

Die Daten können von bestimmten Websites oder dem Web allgemein gecrawlt werden. Wir sind nicht unbedingt auf ein festes Format angewiesen (z.B. Anzeige von Suchergebnissen auf einer bestimmten Website), sondern haben auch schon ähnliche Daten aus verschiedenartigen Webseiten im gesamten Web extrahiert (z.B. Adressen/Kontaktdaten aus Impressum/ Kontaktseiten, Beschreibungen und Keywords aus Meta-Tags). Wichtig ist hierbei die Trennung von guten Daten und Müll durch syntaktische und semantische Merkmale.

Cookies und Formulare sind für unsere Crawler kein Hindernis. Wir beachten den Robots Exclusion Standard. Um den Versand von Spam-Email nicht zu unterstützen lehnen wir Aufträge ab, die nur auf die Gewinnung von E-Mail-Adressen abzielen.

Ihr Ansprechpartner für Crawler bei netEstate:
Michael Brunnbauer
Tel: 089-32197780
E-Mail: info@netestate.de
Kontaktformular