Download von Pocket Queries

flopp

Geomaster
Hallo,

ich habe ein kleines Python-Skript gebastelt, mit dem man die auf geocaching.com vorhandenen Pocket Queries runterladen kann.

EDIT:Leider scheint das ganze nicht ToU-konform zu sein, deshalb habe ich Link und Anleitung aus diesem Post entfernt.

- Flopp
 

imprinzip

Geowizard
a-tens geht die Seite nicht (also bei mir jedenfalls) und
b-tens, wo liegt der Vorteil gegenüber der üblichen Download-Funktion von PQ?
:???: und
c-tens:
radioscout schrieb:
Ist das ToU-konform?
hab ich mich das auch grad gefragt....
 

Carsten

Geowizard
flopp schrieb:
Für Kommentare und Hinweise bin ich dankbar.

Gerne doch, ich mach mal wieder den Spielverderber:

Terms of use schrieb:
You agree that you will not use any robot, spider, scraper or other automated means to access the Site for any purpose without our express written permission.

Soweit ich weiß gibt es von Groundspeak noch keine Freigabe für einen automatisierten Download der Dateien. Mindestens das Team um Clyde (GSAK) ist aber deswegen schon in Kontakt mit Groundspeak getreten und die ersten Signale sind wohl positiv. Ob das dann eine generelle Freigabe wird, muss man abwarten.
 
OP
F

flopp

Geomaster
Hm. Schade, da war ich wohl zu blauäugig.
Ich dachte, Groundspeak hätte etwas gegen Spidern, was man ja verstehen kann. Aber dass man man seine eigenen Pocket Queries, die ja extra zum Download angeboten werden ("Pocket Queries ready for download...") nicht mit Toolunterstützung downloaden darf? Naja, dann muss ich mich wohl auf 500 Caches beschränken und den E-Mail-Service benutzen. Mein Mail-Provider erlaubt jedenfalls das automatisierte Downloaden von Emails und die automatische Extraktion von Anhängen...

Vielen Dank für die Hinweise
Flopp
 

Quaqhad

Geonewbie
flopp schrieb:
Naja, dann muss ich mich wohl auf 500 Caches beschränken und den E-Mail-Service benutzen.

Nun, ich bin mir nicht hundertprozentig sicher, aber kannst du nicht mittlerweile 1000 Caches in einem PQ haben und den dann downloaden? :???:

edit: http://www.geoclub.de/viewtopic.php?f=92&t=42891
 
OP
F

flopp

Geomaster
Quaqhad schrieb:
flopp schrieb:
Naja, dann muss ich mich wohl auf 500 Caches beschränken und den E-Mail-Service benutzen.

Nun, ich bin mir nicht hundertprozentig sicher, aber kannst du nicht mittlerweile 1000 Caches in einem PQ haben und den dann downloaden? :???:

edit: http://www.geoclub.de/viewtopic.php?f=92&t=42891

Genau das ist der Punkt: Enthält eine PQ mehr als 500 Caches wird sie nicht mehr per E-Mail versendet, sie steht ausschließlich zum Download zur Verfügung. Gleiches gilt für die "My Finds"-PQ.
Früher konnte man beispielsweise ein GC-Statistik-Tool automatisch die E-Mail mit der "My Finds"-PQ empfangen und unbeaufsichtigt eine Statistik seiner gefundenen Caches erstellen lassen. Das geht jetzt nicht mehr, da diese Mails ja nicht mehr versendet werden und man die PQs scheinbar nicht automatisch downloaden darf.
Ein ähnliches Problem hat man, wenn man seine GSAK-Datenbank automatisch via eingebauter "GetMail" mit PQs versorgen will. Das funktioniert nur noch mit PQs mit weniger als 500 Caches.

Eigentlich schade. Ich dachte, das PQ-Download-Feature wurde genau zu dem Zweck eingeführt, dass Tools komfortabler auf die Daten zugreifen können, ohne Spidern zu müssen...

- Flopp
 

Astartus

Geowizard
Es geht ja gerade darum, die 1000er PocketQueries automatisch herunterzuladen, ohne jede einzelne dafür anzuklicken. Und das ist mit einem Skirpt nicht erlaubt (was aber auch in meinen Augen bescheuert von Groundspeak ist).
 

Quaqhad

Geonewbie
flopp schrieb:
Genau das ist der Punkt: Enthält eine PQ mehr als 500 Caches wird sie nicht mehr per E-Mail versendet, sie steht ausschließlich zum Download zur Verfügung. Gleiches gilt für die "My Finds"-PQ.
Früher konnte man beispielsweise ein GC-Statistik-Tool automatisch die E-Mail mit der "My Finds"-PQ empfangen und unbeaufsichtigt eine Statistik seiner gefundenen Caches erstellen lassen. Das geht jetzt nicht mehr, da diese Mails ja nicht mehr versendet werden und man die PQs scheinbar nicht automatisch downloaden darf.
Ein ähnliches Problem hat man, wenn man seine GSAK-Datenbank automatisch via eingebauter "GetMail" mit PQs versorgen will. Das funktioniert nur noch mit PQs mit weniger als 500 Caches.

Eigentlich schade. Ich dachte, das PQ-Download-Feature wurde genau zu dem Zweck eingeführt, dass Tools komfortabler auf die Daten zugreifen können, ohne Spidern zu müssen...

- Flopp
Dann vergiss, was ich gesagt habe. :^^: Ich dachte es würde nur darum gehen, dass du mehr Caches haben möchtest und nicht, dass das neue PQ ein Problem für dich darstellt. :eek:ps:
 

TweetyHH

Geomaster
Leute Leute ... da werden Dateien zum Download angeboten um sie mit externen Tools zu verarbeiten (für was anderes sind GPX ja nicht da, per Hand liest die niemand) und ihr weißt darauf hin, dass der Download von den Dateien per Skript gegen die Tofu verstoßen würde?

:kopfwand:

Also lieber flopp, stell den Link doch bitte wieder rein. Wenn verstößt sowieso nicht du gegen die Tofu sondern jeder Nutzer selber. Und ganz ehrlich. Bei der "Übersichtlichkeit" der Webseite soll Groundspeak dankbar über jeden Nutzer sein, der ein Skript nutzt und nicht zusätzlichen Traffic für falsch angeklickte Webseiten, Bilder, CSS Dateien etc. verbrät.
 
OP
F

flopp

Geomaster
TweetyHH schrieb:
Also lieber flopp, stell den Link doch bitte wieder rein. Wenn verstößt sowieso nicht du gegen die Tofu sondern jeder Nutzer selber. Und ganz ehrlich. Bei der "Übersichtlichkeit" der Webseite soll Groundspeak dankbar über jeden Nutzer sein, der ein Skript nutzt und nicht zusätzlichen Traffic für falsch angeklickte Webseiten, Bilder, CSS Dateien etc. verbrät.

Ich sehe das exakt genau so. Trotzdem lasse ich vorerst die Finger davon. Im GSAK-Forum wird wohl gerade auch genau darüber diskutiert. Wenn es dort eine (tool-freundliche) Stellungnahme von Seiten Groundspeaks gibt, geht es weiter...
 

Carsten

Geowizard
TweetyHH schrieb:
ihr weißt darauf hin, dass der Download von den Dateien per Skript gegen die Tofu verstoßen würde?

Du bist das beste Beispiel, wieso solche Hinweise immer noch und immer wieder notwendig sind.

TweetyHH schrieb:
Wenn verstößt sowieso nicht du gegen die Tofu sondern jeder Nutzer selber.

Und du meinst, er als Tool-Autor dürfte brav weitermachen, weil ja nicht er, sondern die Nutzer damit die TOU verletzen? Frag doch einfach mal den Autor von GCTour, wessen Account gesperrt wurde.
 

TweetyHH

Geomaster
Carsten schrieb:
TweetyHH schrieb:
ihr weißt darauf hin, dass der Download von den Dateien per Skript gegen die Tofu verstoßen würde?

Du bist das beste Beispiel, wieso solche Hinweise immer noch und immer wieder notwendig sind.
Das man nicht die ganze Webseite auf einen schlag spidern sollte - das seh ich ein. Dass ich Dateien, die ich runterladen möchte, nicht nicht mit einem kleinen Programm sondern mit dem Broswer runter laden möchte seh ich überhaupt nicht ein. Ich zahl sogar dafür!!! Wo liegt der Gewinn für Groundspeak mir das zu verbieten? Bzw. noch schlimmer: Wo liegt der Verlust für Groundspeak, wenn ich es mache?

Carsten schrieb:
TweetyHH schrieb:
Wenn verstößt sowieso nicht du gegen die Tofu sondern jeder Nutzer selber.

Und du meinst, er als Tool-Autor dürfte brav weitermachen, weil ja nicht er, sondern die Nutzer damit die TOU verletzen? Frag doch einfach mal den Autor von GCTour, wessen Account gesperrt wurde.
Das ist auch das einzige Beispiel. Wurde der GSAK Entwickler gesperrt als massig Nutzer seines Programms gesperrt wurden? NEIN
Wurden CacheWolf Entwickler gesperrt? NEIN
Wurden Scriptentwickler von GSAK gesperrt? (zumindest meines Wissens) NEIN

Also es wurde noch kein Entwickler eines Spiders gesperrt. Der Entwickler von GCTour wurde vor allem gesperrt weil er (nicht zahlenden) Nutzern komfortabel GPX-Dateien zur Verfügung stellte. Da sah Groundspeak seine Felle davon schwimmen.

P.S. @Carsten: Hat es inzwischen mit Reviewer werden geklappt?
 

quercus

Geowizard
gibt es nicht für browser erweiterungen, die wie makros auf bestimmten internetseiten selbständig handlungen durchführen. ich meine, das kommt ursprünglich vom ausfüllen von formularen und kann heute schon deutlich mehr. der unterschied wäre dann ja nur, dass man einen klick, anstelle von 10 auf der seite macht. und wenn so etwas verboten ist, dann müssten es auch alle affen sein.

apropos, müsste man das nicht auch einfach mit einem affen-skript hinbekommen? und so oft brauch man die pqs ja kein zweites oder drittes mal, die werden einem ja eh zugeschickt
 

Sejerlänner

Geowizard
quercus schrieb:
... und so oft brauch man die pqs ja kein zweites oder drittes mal, die werden einem ja eh zugeschickt
Als Anhang per Mail kommen PQ nur noch, wenn sie weniger als 500 Caches enthalten,
bzw die MyFinds-PQ gibt es nur noch als Download.
Ansonsten kommt nur noch der Link zum Download per Mail.
 

UF aus LD

Geowizard
Also in der Diskussion im GSAK Forum um automatisches "Abholen" der PQs schreibt Clyde nach Kontakt mit GS:

Yep, but Nate from Groundpeak has personally told me this is a violation of the TOU - so it would be irresponsible for me to implement this method.

http://gsak.net/board/index.php?showtopic=15240&st=40&#entry105466

Richtig, da steht nicht dass es Folgen für Clyde hätte, aber dass es unverantwortich wäre es zu implementieren. In den USA reicht das, um es nicht zu tun. Hier muss es erst diskutiert werden.
 

Rosenlaube

Geonewbie
Hier mal der maßgebliche Ausschnitt der ToU zur Meinungsbildung:

"5. Access and Interference
... You agree that you will not use any robot, spider, scraper or other automated means to access the Site for any purpose without our express written permission. Additionally, you agree that you will not: (a) take any action that imposes, or may impose in our sole discretion an unreasonable or disproportionately large load on our infrastructure..."

Zwar fehlt eine "express written permission" zum Download der PQs, gleichwohl aber ist diese gar nicht erforderlich, denn ich nutze ja keinen Robot/Spider zum Massendownload von verschiedenen Geocaches, was hier in der ToU gemeint ist, sondern lediglich jeweils einen Download für eine einzelne meiner Dateien (wenn auch schnell hintereinander). Und das ist ein gravierender Unterschied, den Nate wahrscheinlich einfach nicht bedacht hat.
Als Auswirkung eines automatisierten Downloads verhalte ich mich natürlich vertragsgemäß - und ich halte es für unwahrscheinlich, dass Juristen in den US das anders sehen.

Hinzu kommt: Ein manueller Download ist erlaubt. Wenn das schon so ist, erzeugt ein automatisierter Prozess zum Download zwar einen Moment lang Last, aber keinen anderen als mein manueller Download. Lediglich die Zeit, bis dass der nächste Download erfolgt, ist kürzer.
Der Download per Software ist in der Summe für Goundspeaks System wohl nicht ressourcenverbrauchender als ein manueller Download.... - insbesondere, wenn eine Umsetzung eine Latenz zwischen dem Download einer jeden Datei einbringen würde.

Wie auch immer: Eine simple nichtrechtliche Bewertung von Nate ist - jedenfalls in Deutschland - kein Grund, die Diskussion zur Frage einzustellen. Und ein jedes System lebt von Diskussion. Und (hier: sinnvolle) Veränderungen treten nicht ein, wenn man kuscht und schweigt...

Ich fände es gut, wenn jemand mit Zugang zu den richtigen Personen dies mal deutlich machen könnte.

So, und nun widersprecht mir... :D
 

UF aus LD

Geowizard
Rosenlaube schrieb:
.....
Ich fände es gut, wenn jemand mit Zugang zu den richtigen Personen dies mal deutlich machen könnte.
......
Bitte - denen deine Meinung zu erklären ist niemand besser geeignet als du. Der entsprechende Zugang zu den richtigen Personen ist appeals@geocaching.com oder besser contact@geocaching.com.

... und wie könnte hier jemand deiner fundierten und nach dem amerikanischen Rechtssystem super begründeten und detailliert dargestellten Auffassung widersprechen?
 
OP
F

flopp

Geomaster
Übrigens: in den exzellenten "geo-*"-Tools von Rick Richardson (http://geo.rkkda.com/) ist seit Anfang Mai das Skript "geo-pqdownload" enthalten, das den PQ-Download perfekt implementiert. Zusätzlich gibt es dort auch das nette Tool "geo-myfinds", mit dem man seine MyFinds-PQ automatisch anfordern kann...
 

quercus

Geowizard
es gibt noch eine weitere sehr schnelle und einfache methode, alle oder einige PQs auf ein mal herunterzuladen.

dafür nötig sind:
Browser Firefox
Adon DownloadThemAll!

So, nun auf die downloadseite der PQs gehen und rechte maustaste DownloadThemAll wählen. in der nun folgenden liste alle oder die ausgewählten PQs auswählen. das sind die einträge, bei denen die URL http://www.geocaching.com/pocket/downloadpq.ashx?g=code steht. man kann zeilen einzeln auswählen oder mehrere markieren und dann gemeinsam auswählen. die zeilen befinden sich ziemlich am ende der liste.

ein klick auf download und in sekundenschnelle sind alle da.
dauer der aktion vom einloggen bis zum download ca 15-20sec. (5-10sec. mit ZIP filter) in meinen augen ein durchaus hinnehmbarer aufwand, wenn man viele PQs hat.

ich bastel noch an einer optimierung
 

Anhänge

  • Zwischenablage01.jpg
    Zwischenablage01.jpg
    64,2 KB · Aufrufe: 428
Oben