Spidern mit großem Umkreis sehr unvollständig

[Christian und die Wutze]

[...]

Ja, gute Idee, jedenfalls besser als die bisherigen Vorschläge mit überlappenden Kreisen. So richtig praktisch finde ich das trotzdem nicht.

Grüße
Martin

Dir ist schon klar, dass sich dieser Vorschlag von Carsten auf PQs bezieht, oder?

 

[mplush]

[...]

Ja, gute Idee, jedenfalls besser als die bisherigen Vorschläge mit überlappenden Kreisen. So richtig praktisch finde ich das trotzdem nicht.

Grüße
Martin

Dir ist schon klar, dass sich dieser Vorschlag von Carsten auf PQs bezieht, oder?

Ja, wieso?

 

[mplush]

P.S.: Dass CW nicht richtig spidert, glaube ich erstmal nicht. Ich gehe schwer davon aus, dass es andere Ursachen hat.

Ah, endlich mal jemand, der die eigentliche Frage kommentiert ;-)

Das lässt sich ja von jedem leicht überprüfen.
z.B. durch Spidern der Umgebung von Moskau 55° 45.240'N 37° 37.304'O im Umkreis von 1000km. Es müssten fast 6000 Caches sein, CW findet bei mir nur 23.

Grüße
Martin

 

[Engywuck]

Zuhause werde ich das mal ausprobieren.

 

[mplush]

Das lässt sich ja von jedem leicht überprüfen.
z.B. durch Spidern der Umgebung von Moskau 55° 45.240'N 37° 37.304'O im Umkreis von 1000km. Es müssten fast 6000 Caches sein, CW findet bei mir nur 23.

Das Problem ist anscheinend nicht die Anzahl der Caches, sondern wirklich die Entfernung. Caches oberhalb einer bestimmten Entfernung (anscheinend irgendwas um die 80km) werden bei mir nicht gefunden.
50km Umkreis von Auckland --> CW findet über 1000 Caches - ok
50km Umkreis um Moskau --> CW findet 23 caches - ok
1000km Umkreis um Moskau --> CW findet 23 caches - sollten über 6000 sein
Wie gesagt: 1.0.1532

Grüße
Martin

 

[Tony_GZ]

Übrigens, wollte nur mal noch kurz anmerken, warum ein Premiumaccount und PQ besser sind als alles "nur" zu spidern:

(siehe auch : http://forums.groundspeak.com/GC/index.php?showtopic=143339&hl=spoilersync)

• Das „Spidern“ von Bildern ist laut den Guidelines von gc.com nicht erlaubt.

• Das übermäßige Herunterladen von zu vielen Bildern auf einmal in kurzer Zeit belastet die Server von gc.com und kann mit Sperrung des Accounts geahndet werden!

• Allerdings ist das normale Herunterladen von Bilder die auf einer Pocket Query basieren als Premium Member erlaubt.

 

[MiK]

Übrigens, wollte nur mal noch kurz anmerken, warum ein Premiumaccount und PQ besser sind als alles "nur" zu spidern:

Also unter "besser" verstehe ich einen technischen Vorteil. Der ist meiner Ansicht nach bei PQs nicht gegeben. Meist ist es umständlicher. Schade, dass GC für PMs keinen vernünftigen Zugang zur Datenbank anbietet.

Zum eigentlichen Problem: Anscheinend gibt es wirklich eine Begrenzung zw. 80 und 100km. Ich glaube aber nicht, dass das direkt ein Fehler in CW ist, sondern, dass die Anfrage, die wir dafür nutzen keine weiter entfernten Ergebnisse liefert.

 

[mplush]

Zum eigentlichen Problem: Anscheinend gibt es wirklich eine Begrenzung zw. 80 und 100km. Ich glaube aber nicht, dass das direkt ein Fehler in CW ist, sondern, dass die Anfrage, die wir dafür nutzen keine weiter entfernten Ergebnisse liefert.

Mmh, ich hätte gedacht, dass man dafür "Latitude Longitude Search" von der Suchseite nimmt. Interessant ist, dass dabei 20 Ergebnisse pro Seite dargestellt werden und beim spidern der erste Schritt, also die Erkennung welche Caches geladen werden sollen, auch in 20er-Häppchen fortschreitet.
Aber das kann jemand der sich im Sourcecode auskennt sicher besser beantworten ...

Grüße
Martin

 

[MiK]

Mmh, ich hätte gedacht, dass man dafür "Latitude Longitude Search" von der Suchseite nimmt.

Und genau die hat anscheinend eine 50 Meilen Begrenzung. Ein Beispiel aus meinem letzten Urlaub:
http://www.geocaching.com/seek/nearest.aspx?lat=35.780267&lng=10.819467

 

[Carsten]

Und genau die hat anscheinend eine 50 Meilen Begrenzung.

Wieso anscheinend? Die Beschränkung auf 50 Meilen/rund 80,5 Kilometer gibt es schon, seit ich mit Geocachen angefangen habe, also mindestens 3,5 Jahre.

 

[MiK]

"anscheinend", weil diese Information nirgends bei den Suchergebnissen steht und nur von mir so vermutet wurde. Kann sein, dass das schon immer so ist. Da ich normalerweise in wesentlich kleineren Umkreis nach Caches suche, war mir das erst in Tunesien aufgefallen.

 

[Engywuck]

Ah so. Hm hm.
Wenn ich auf "Hide and Seek a Cache" gehe und dort sage, dass ich gerne in einer Distance von 100 Meilen suchen will, bekomme ich (z.B. ausgehend von N 51° E 7°) folgenden Aufruf:

http://www.geocaching.com/seek/nearest.aspx?lat_ns=1&lat_h=51&lat_mmss=0&long_ew=1&long_h=7&long_mmss=0&dist=100&submit8=Search

Vermutlich hilft es, wenn man einfach ein &dist=<entfernung> anhängt?

Gruß, E.

 

[Engywuck]

Klappt. Hier das Beispiel aus MiKs Urlaub mit 1000 Meilen Radius:

http://www.geocaching.com/seek/nearest.aspx?lat=35.780267&lng=10.819467&dist=1000

Gruß, E.

 

[mplush]

Mmh, ich hätte gedacht, dass man dafür "Latitude Longitude Search" von der Suchseite nimmt.

Und genau die hat anscheinend eine 50 Meilen Begrenzung. Ein Beispiel aus meinem letzten Urlaub:
http://www.geocaching.com/seek/nearest.aspx?lat=35.780267&lng=10.819467

Das ist die "Advanced Search", nicht "Latitude Longitude Search" direkt auf http://www.geocaching.com/seek/
Letztere finded Caches in beliebiger - einstellbarer - Entfernung.

Aber es stimmt natürlich, wenn CW die "Advanced Search" benutzt, dann geht es nicht weiter als 50 Meilen. Dann ist aber die Angabe größerer Entfernungen beim spidern unsinnig und darauf sollte CW hinweisen.
Oder besser noch die in diesem Fall viel flexiblere "einfache" Suche nehmen, bei der eine Entfernungsangabe möglich ist, die dann auch richtig ausgewertet wird.
Gerade in dünn "becachten" Gebieten ist die Beschränkung auf 50mi sehr unpraktisch.
Gibt es einen triftigen grund, die "Advanced Search" zu benutzen? Okay, da kann man noch nach Cache-Typen filtern, aber wird das überhaupt benutzt?

Grüße
Martin

 

[MiK]

Ah so. Hm hm.
Wenn ich auf "Hide and Seek a Cache" gehe und dort sage, dass ich gerne in einer Distance von 100 Meilen suchen will, bekomme ich (z.B. ausgehend von N 51° E 7°) folgenden Aufruf:

http://www.geocaching.com/seek/nearest.aspx?lat_ns=1&lat_h=51&lat_mmss=0&long_ew=1&long_h=7&long_mmss=0&dist=100&submit8=Search

Vermutlich hilft es, wenn man einfach ein &dist=<entfernung> anhängt?

Es scheint zu gehen. Ich weiß aber nicht, ob ich diese Beschränkung wirklich entfernen möchte.
... man muss dafür noch nicht einmal neu kompilieren...

 

[mplush]

Ah so. Hm hm.
Wenn ich auf "Hide and Seek a Cache" gehe und dort sage, dass ich gerne in einer Distance von 100 Meilen suchen will, bekomme ich (z.B. ausgehend von N 51° E 7°) folgenden Aufruf:

http://www.geocaching.com/seek/nearest.aspx?lat_ns=1&lat_h=51&lat_mmss=0&long_ew=1&long_h=7&long_mmss=0&dist=100&submit8=Search

Vermutlich hilft es, wenn man einfach ein &dist=<entfernung> anhängt?

Es scheint zu gehen. Ich weiß aber nicht, ob ich diese Beschränkung wirklich entfernen möchte.
... man muss dafür noch nicht einmal neu kompilieren...

Dann lieber die Anzahl der spiderbaren Caches begrenzen.
Aber in dünnen Gebieten die maximale Entfernung so niedrig zu halten macht m.E. keinen Sinn. Und es ist einfach falsch, wenn man beim spidern eine Entfernung angeben kann, die dann aber kommentarlos begrenzt wird.

Grüße
Martin

 

[MiK]

Gibt es einen triftigen grund, die "Advanced Search" zu benutzen? Okay, da kann man noch nach Cache-Typen filtern, aber wird das überhaupt benutzt?

Es wird überhaupt keine besondere "Advanced Search" benutzt, sondern die einfachst mögliche Suchanfrage um einen Punkt. Wenn man dabei keine Distanz angibt, ist sie auf 50 Meilen beschränkt.

 

[MiK]

Dann lieber die Anzahl der spiderbaren Caches begrenzen.

Eigentlich habe ich nicht vor, die User zu bevormunden. Das muss jeder selbst entscheiden, ob und wie viel er spidert. Solange wir aber den EVE-Umstieg nicht voran bringen, sind solche Problem drittrangig...

 

[MiK]

Na gut:

firstLine          = http://www.geocaching.com/seek/nearest.aspx?dist=1000&

in der spider.def sollte helfen.

 

[Engywuck]

Na gut:

firstLine          = http://www.geocaching.com/seek/nearest.aspx?dist=1000&

in der spider.def sollte helfen.

Das ist aber maximal ein kurzfristiger Workaround.
Es nötigt nämlich den Groundspeak-Server dazu, erstmal alle Caches in 1000 Meilen Entfernung rauszufinden und nach Entfernung zu sortieren. Etwas oversized, wenn ich nur die neuen in meiner 10-km-Homezone finden will...
Besser wäre es, die gewünschte Entfernung direkt in der URL anzugeben - dann bekommt man tatsächlich nur die gewünschten Ergebnisse.

Gruß, E.