geocaching.com Spider Cache: GCME6T

[klicksan]

Hi,

ich habe heute zum ersten mal Cache Wolf ausprobiert.
Respekt für die umfangreiche Software.

Bei mir tritt jedoch ein Fehler auf.

Ich habe den spider auf geochaching.com benutzt.
Berlin Innenstadt 52° 31? 6? N, 13° 24? 30? E Umkreis 20 km
Nach einer Weile kommt er zu einem Cache mit dem Tag: GCME6T
Mit diesem scheint der Spider nicht umgehen zu können:

<Zitat geocaching.com>
Sorry, the owner of this listing has made it viewable to subscribers only.
</Zitat geocaching.com>

Kann man einen Mechanismus einfügen, so das nicht der gesamte Spider
Vorgang abbricht, sondern das man zum Beispiel diesen Cache überspringen kann.

Wenn ich nach dem abgebrochenen Download den Index neu erstellen lasse,
werden alle Caches nochmal hinzugefügt. Man hat dann alle Einträge in der Liste
doppelt. Nach wiederholten Index erstellen hat man sie dann 3-fach usw.
Ist das so gewollt?

Ich habe Version 1.0 Release Candidate.

Gruss klicksan

 

[MiK]

Ich habe den spider auf geochaching.com benutzt.
Berlin Innenstadt 52° 31? 6? N, 13° 24? 30? E Umkreis 20 km
Nach einer Weile kommt er zu einem Cache mit dem Tag: GCME6T
Mit diesem scheint der Spider nicht umgehen zu können:

<Zitat geocaching.com>
Sorry, the owner of this listing has made it viewable to subscribers only.
</Zitat geocaching.com>

Kann man einen Mechanismus einfügen, so das nicht der gesamte Spider
Vorgang abbricht, sondern das man zum Beispiel diesen Cache überspringen kann.

Ich bin bei den letzten Änderungen davon ausgegangen, dass sehr wahrscheinlich auch keine weiteren Caches geladen werden können, wenn es bei einem nicht funktioniert. An die Premium-Member-only Caches habe ich dabei nicht gedacht. Ich werde eine differenzierte Fehlermeldung und die Möglichkeit zum Überspringen einbauen. Den Patch werde ich heute Mittag oder spätestens heute Abend zum Review bereitstellen.

Wenn ich nach dem abgebrochenen Download den Index neu erstellen lasse,
werden alle Caches nochmal hinzugefügt. Man hat dann alle Einträge in der Liste
doppelt. Nach wiederholten Index erstellen hat man sie dann 3-fach usw.
Ist das so gewollt?

Das sollte nicht so sein. Wer kümmert sich um diesen Bug?

 

[Kappler]

Wenn ich nach dem abgebrochenen Download den Index neu erstellen lasse,
werden alle Caches nochmal hinzugefügt. Man hat dann alle Einträge in der Liste
doppelt. Nach wiederholten Index erstellen hat man sie dann 3-fach usw.
Ist das so gewollt?

Das sollte nicht so sein. Wer kümmert sich um diesen Bug?

Ich schau es mir mal an... Aber ohne Gewähr, dass ich auch etwas finde. ps:

 

[TantchensOnkelchen]

Ich werde eine differenzierte Fehlermeldung und die Möglichkeit zum Überspringen einbauen. Den Patch werde ich heute Mittag oder spätestens heute Abend zum Review bereitstellen.

Der Spider sollte diese Caches dann aber automatisch überspringen und höchsten ganz zum Schluss gesammelt als Meldung anzeigen.

Sonst muss man u.U. die ganze Nacht vor der Kiste sitzen um auf die einzelnen Meldungen zu warten und "überspringen" zu klicken.

Viele Grüße
Onkelchen

 

[MiK]

Der Spider sollte diese Caches dann aber automatisch überspringen und höchsten ganz zum Schluss gesammelt als Meldung anzeigen.

Also eine gesammelte Anzeige wird es nicht geben. Höchstens ein automatisches Überspringen, wenn der Fehler eindeutig von einem PM-only Cache kommt.

Sonst muss man u.U. die ganze Nacht vor der Kiste sitzen um auf die einzelnen Meldungen zu warten und "überspringen" zu klicken.

Wenn Dein Spidervorgang die ganze Nacht dauert, machst Du irgendetwas falsch.

 

[TantchensOnkelchen]

Wenn Dein Spidervorgang die ganze Nacht dauert, machst Du irgendetwas falsch.

Ich gebe zu, ich habe CW schon lange nicht mehr verwendet, weil mir der GPX-Export in den alten Versionen einfach zu langsam war. Also habe ich mir gedacht, ich warte einfach bis zum 1. "richtigen" Release.

Da er ja jetzt da ist, will ich CW jetzt einfach mal wieder probieren. Hat sich ja doch seeehr viel getan in letzter Zeit. Und CW ist einfach doch ein cooles Tool.

Nun ja, beim letzten "Rundumschlag" mit den vollen 80 Kilometern Umkreis hat er für die 2800 Caches durchaus die ganze (vielleicht auch nur die halbe) Nacht gebraucht.
Es kommt ja auch auf die Reaktionszeit von GC.COM an.

Wurde da denn auch irgendetwas beschleunigt ?

Automatisches Überspringen ist auf jeden Fall sinnvoll.

Selbst wenn das Spidern "nur" eine Stunde dauern sollte, ist es lästig, wenn man nebenbei was Essen gegangen ist, und bei der Rückkehr dann sieht, dass 3 Minuten nachdem man den Raum verlassen hat, die Meldung kam und CW die ganze Stunde nur gewartet hat.

Viele Grüße
Onkelchen

 

[MiK]

2800 Caches zu spidern ist nicht die Art, wie sich Software wie CW bei GC beliebt macht...

 

[maierkurt]

2800 Caches zu spidern ist nicht die Art, wie sich Software wie CW bei GC beliebt macht...

Jetzt kommt bestimmt ein Beitrag von dem Herrn mit der dämlichen zertifikatbenötigenden Statistikanzeige in der Signatur: 2800 Caches sind doch nicht viel...
Vielleicht muß doch eine Sperre in den CW eingebaut werden.


Gruß, maierkurt



EDIT: Tippfehler

 

[klicksan]

@MiK und Kappler

Danke für die Mühe.

 

[MiK]

Ich denke, dass muss jeder selbst entscheiden. Ich würde nicht so viele auf einmal Spidern. Schon weil das Profil dadurch viel zu groß wird.
Mirabilos bezog sich übrigens auf einen Downloadmenge von 200MB und nicht auf die Länge oder Anzahl des Spiderns. Bei einem Vernünfigen Verhältnis von Serverleistung und Nutzerzahl, ist das auch nicht so wahnsinnig viel. Aber solange man damit den GC-Server Stunden lang blockiert, ist das schon etwas heftig.

 

[TantchensOnkelchen]

2800 Caches zu spidern ist nicht die Art, wie sich Software wie CW bei GC beliebt macht...

Weiss ich.

Als ich das das letzte Mal gemacht habe, hatte GC.COM noch nicht mal die Spiderbremse sprich "Account sperren wegen Spidern" realisiert.

Nur andererseits, wenn ich in eine Gegend fahre um dort ein, zwei Tage zu cachen, sind 200 - 300 Caches trotzdem die "normale" Spidermenge, oder ? Das sind dann vielleicht gerade mal 15 km Umkreis.

Und selbst das hat beim letzten mal deutlich über eine Stunde gedauert.
Es liegt ja nicht an CW, dass es dauert. Da will ich ja gar nichts sagen.

Es geht mir ja nur darum, während der Zeit nicht vor der Kiste auf Meldungen warten zu müssen.

Viele Grüße
Onkelchen

 

[maierkurt]

Mirabilos bezog sich übrigens auf einen Downloadmenge von 200MB und nicht auf die Länge oder Anzahl des Spiderns.

Ja, schon richtig. Aber Downloadmenge ~ Anzahl (normalerweise)

Bei einem Vernünfigen Verhältnis von Serverleistung und Nutzerzahl, ist das auch nicht so wahnsinnig viel.

2 GB bei zehn Nutzern, hm, GC hat sich das bestimmt nicht so gedacht.

Ich denke, dass muss jeder selbst entscheiden.

Stimmt schon, ich fände es aber schade wenn GC einen generellen Riegel vorschiebt, nur weil ein paar wenige Nutzer es übertrieben haben. Aber, man muß es nehemen wie es kommt.....


Gruß, maierkurt

 

[maierkurt]

Nur andererseits, wenn ich in eine Gegend fahre um dort ein, zwei Tage zu cachen, sind 200 - 300 Caches trotzdem die "normale" Spidermenge, oder ? Das sind dann vielleicht gerade mal 15 km Umkreis.

Bei mir haben 25 km Umkreis ca. 300 Caches ergeben, Umfang ca. 76 MB. Wenn man das mal macht, sicherlich kein Problem. Nur gibt es immer so Spezialisten, naja, Du weißt schon.

Gruß, maierkurt

 

[MiK]

Um mal zum eigentlichen Thema zurückzukommen: Ich werde es wahrscheinlich so lösen, dass immer wenn die Seite geladen werden konnte, aber danach nicht richtig interpretiert werden konnte, der Cache einfach übersprungen wird. Wenn es allerdings schon Fehler beim Laden gibt, wird weiterhin die Box kommen. Es macht keinen Sinn es immer weiter zu versuchen, wenn die Internetverbindung nicht mehr steht.

Die Frage ist jetzt nur noch, ob auch bei einem unvorhergesehenen automatisch übersprungen werden soll, oder nur bei bekannten Fehlerquellen, wie PM-only Caches.

 

[TantchensOnkelchen]

Die Frage ist jetzt nur noch, ob auch bei einem unvorhergesehenen automatisch übersprungen werden soll, oder nur bei bekannten Fehlerquellen, wie PM-only Caches.

Ich würd's auch bei unvorhergesehenem machen.

Vielleicht dann doch mit einer abschließenden Meldung ?
XX PM-Onlies übersprungen
XX wasweißichwas übersprungen
XX unbekannte Fehler übersprungen

Damit man zum Schluss einen kleinen Überblick hat.
Wenn die unbekannte Fehler exorbitant ansteigen, ist das ein Indikator dafür, dass etwas "schlimmeres" nicht stimmt.


Only my 2 cents.

Viele Grüße
Onkelchen

 

[Kappler]

Den Bug mit dem Index-Neuerstellen habe ich fixen können.
Angehängt ein Patch, der die betreffende Änderung enthält.

Wie in einem anderen Thread gefordert, bitte ich andere Entwickler diesen zu begutachten und im Bedarfsfall über mich herzufallen

 

[pfeffer]

wenn man grad an der Stelle schreibt: ich glaube korrekt muss es heißen "lastIndexOf" (was an dieser Stelle zwar im Moment keinen Unterschied macht, aber lieber macht man es gleich richtig.) Dadurch wird der letzte "." und nicht der erste im String gefunden.

Ansonsten gucke ich mir das später nochmal genauer an.

Gruß,
Pfeffer.

 

[MiK]

Mein Patch für das Spidern ist jetzt auch fertig. Die Rückfrage sollte damit nur kommen, wenn der Fehler schon beim Laden der Seite passiert oder eine Exception geworfen wird. Wenn nur die Koordinaten nicht ausgelesen werden können, wird der Cache automatisch übersprungen. Außerdem hat man jetzt bei einem Fehler die Auswahl zwichen "nochmal versuchen", "überspringen" und "abbrechen". Am Ende wird die Anzahl der übersprungenen Caches angezeigt.

Der Code ist leider nicht ganz einfach zu lesen, aber ich hoffe, dass sich trotzdem 1-2 Entwickler finden, die sich den Patch anschauen.

 

[MiK]

Den Bug mit dem Index-Neuerstellen habe ich fixen können.
Angehängt ein Patch, der die betreffende Änderung enthält.

Wie in einem anderen Thread gefordert, bitte ich andere Entwickler diesen zu begutachten und im Bedarfsfall über mich herzufallen

Was war denn an dieser Stelle das Problem? Ich verstehe den Patch gerade nicht.

 

[Kappler]

Das Problem war, dass in der Dateiliste:

xmlFiles=file.list("*.xml",0);

die Dateinamen in Kleinbuchstaben stehen.

In:

prof.getCacheIndex(wayPoint)

wird aber folgendermassen:

if(ch.wayPoint.equals(wp))

geprüft, ob der aus dem Dateinamen gebildete String wp gleich dem Wegpunktnamen eines Caches aus der Datenbank ist.
Und die sind in Großbuchstaben.

Daher habe ich die Wegpunktnamen aus der Dateiliste in Großbuchstaben gewandelt:

String wayPoint=xmlFiles[i].substring(0,pos).toUpperCase();

Das ist der ganze Bugfix...

Natürlich hätte man auch in prof.getCacheIndex(wayPoint) vorher den wayPoint in Großbuchstaben wandeln können, aber da diese Funktion bestimmt häufiger benutzt wird und sonst keine Fehler auftreten, habe ich an der Stelle eingegriffen, wo Fehler bekannt sind...