Spidern ist laaagsam!

[Suppenkasper]

Danke MiK für die Bestätigung.

Dann wäre die Antwort auf die ursprüngliche Frage - die Geschwindigkeit hängt von der Anzahl der zu ladenen Logs ab - oder?

Dann würde ich noch gerne ein Frage stellen; gibt es auch noch eine Art Time-Out zwischen den Caches, um das Spidern künstlich zu verzögern, und die Gefahr der "Exkommunikation" ;-) zu minimieren?


Dann könnte der Topic doch auch wieder geschlossen werden ;-)

Alles Andere: "Ist Spidern gut oder böse", "wie viele Caches braucht man offline", "Warum spidert ihr" etc. könnten dann in entsprechenden Topics behandelt werden ;-)

 

[t31]

Die Geschwindigkeit ist für mich ganz OK. Und die Sache mit der Serverlast relativiert sich auch, wenn ich auf den Datenbestand des Cachewolfs zurückgreifen kann, dann spart das Trafic, den die Beschreibung lade ich nur einmal herunter. Mit dem Browser hingegen immer wieder sobald der Browsercache überschreiben ist, von den ganzen Zwischenseiten ganz abgesehen. Naja letztlich argumentiert sowieso jeder wie es ihn gerade passt, manche gönnen einen den Luxus nicht, weil sie ja zahlen und letztlich auch nicht besser dastehen, die anderen wollen die Werbung an den man bringen und das Monopol stärken und wieder andere wollen einfach nur cachen gehen und das möglichst ohne Kommerz.

gibt es auch noch eine Art Time-Out zwischen den Caches, um das Spidern künstlich zu verzögern, und die Gefahr der "Exkommunikation" ;-) zu minimieren?

eine Möglichkeit wäre noch einen zweiten Account zum Spidern zu nehmen, wobei ich noch nichts davon gehört habe, das einer geext wurde, das scheint mehr ein Wunschgedanke zu sein. Ansonsten nicht so oft spidern, es reicht ja absolut aus ab und zu mal das angedachte Tagesziel zu aktualisieren. Wenn ich hier lese das manche über 2000 Caches reinziehen, da kann ich nur staunen, ich habe drei Orte zwischen denen ich pendle und nur 1000 Caches überhaupt in der Datenbank, von denen ich mal hin und wieder 20 bis 30 aktualisiere.

 

[Engywuck]

Beide Schritte gehören zum Spidern. Ansonsten hast Du das Vorgehen richtig erfasst.

Ich habe den Eindruck, dass hier noch etwas Erläuterungsbedarf besteht:
Da Groundspeak für uns keine API anbietet, hat der CacheWolf nur die gleichen Informationen zur Verfügung, die auch der Cacher vor dem Webbrowser hat, d.h.: Er kann Webseiten aufrufen, Eingabefelder füllen, Knöpfe drücken und sich das Ergebnis ansehen - dies alles nur automatisiert. D.h. wie wird gespidert? Zunächst wird eine normale Umkreissuche gemacht. Das liefert eine Liste von Caches, die der Cachewolf normal durchblättert und sich die Wegpunkte aller Caches merkt, die er noch nicht kennt (die Wegpunkte sind ja in der Liste angegeben). Das ist der Schritt "x Caches gefunden".
Dann läd er sich die Detailansicht jedes einzelnen Caches, den er sich zuvor gemerkt hat. Die Cacheansicht liefert der GC-Server in zwei Varianten: einmal mit 5 logs, einmal mit allen logs. Wenn ihr nun eingestellt habt, dass ihr mehr als 5 logs haben wollt, muss also die "lange" Variante dargestellt werden.
Da das, was GC liefert, ja eigentlich dazu gedacht ist, eine HTML-Seite darzustellen, sind die Nutzinformationen, die uns interessieren, darin verteilt, d.h. der CacheWolf muss sie sich aus diesen Daten rausklauben und das Ergebnis in der eigenen Datenstruktur unterbringen. Oft sind dann noch Bilder dabei, die getrennt geholt werden müssen... Das ist der Schritt "Laden". Also durchaus eine ganze Menge zu tun.
Wenn Du im CacheWolf in der Liste "Im Browser online öffnen" auswählst, machst Du im Grund dasselbe, was der CacheWolf macht, wenn er einen Cache von GC lädt. Mach das mal, und beobachte im Browser, wie lange es braucht, bis alle Daten vollständig da sind. Das braucht schon eine gewisse Zeit und erklärt schon einen anständigen Anteil der Zeit, die zum Laden eines Caches benötigt wird. Und an dieser Zeit können wir natürlich auch nichts ändern.

Hope this helps,
Engywuck