Als ich mal ein wenig mit einem selbst gebauten Crawler herum experimentiert habe, war ich auf der Suche nach einer möglichst großen Domain Liste. Einfach nur Domains, mit denen ich mal bissel rumcrawlen konnte. Da ich dazu nicht gutes im Internet gefunden hab, habe ich mir selbst eine Liste erstellt, indem ich verschiedene Quellen zusammen geführt habe. Dabei kamen recht schnell mehr als 2 Millionen Domains zusammen. Anschließend habe ich das System verfeinert und komme nun so auf ein Archiv …
Schlagwort: Crawler
Es gibt Schätzungen, nach denen bis zu 50% des im Internet verursachten Traffics durch Bots, Spider, Crawler & Co. entstehen. Diese haben dabei die unterschiedlichsten Aufgaben, bei denen i.d.R. Daten gesammelt werden sollen. Bei manch einem Projekt kann Bot-Traffic aber auch mächtig stören. Oder es soll ggf. anders behandelt werden, als menschliche Nutzer. Das folgende Script zeigt eine Möglichkeit auf, wie Bot-Traffic erkannt werden kann. …
Heute mal ein leicht verdaulicher Artikel. Ohne tiefen Sinn. Mehr was nettes für Zwischendurch. Ich habe mich mal auf die Suche gemacht und im Folgenden eine Liste zusammengestellt, was man so alles mit einer robots.txt-Datei machen kann, was jedoch keinen technischen Sinn hat. Von gut platzierten Stellenausschreibungen bis zum Schutz vor Terminator-Angriffen. …
Hallo. Ich bin Thomas. Webtracking Expert für eCommerce und Google Analytics 
Social Profiles