Kritik am Spidern (was: Spider-Bashing by MIK)

[jennergruhle]

Auf die Gefahr,
dass ich mich wiederhole:

Ich bin dafür, dass die Opencaching.de
Funktionen von Cachewolf kostenlos
bleiben und für die kommerzielle
Geocaching.com Seite ein kostenpflichtiges
AddOn gibt ( PQ-Import usw.)

Ergänzung: Warum soll das Importieren von GPX-Dateien kostenpflichtig sein? Das verursacht doch keine zusätzliche Serverlast, die Dateien liegen ja auf dem Dateisystem des Computers vor. Es gibt noch mehr Datenquellen als nur OC.de.

 

[rautaxe]

Auf die Gefahr,
dass ich mich wiederhole:

Ich bin dafür, dass die Opencaching.de
Funktionen von Cachewolf kostenlos
bleiben und für die kommerzielle
Geocaching.com Seite ein kostenpflichtiges
AddOn gibt ( PQ-Import usw.)

Und was soll das bringen? Der Entwickler, der das anbietet, steckt sich Geld in die Tasche

Es ist nicht der, sondern die Entwickler

, aber die Last auf den Groundspeak-Servern ist die selbe?

Nö, ich meine man würde auch das Spidern entfernen
und nur Opencaching.de nutzen, die im Gegensatz zu GC.com eine
richtige Schnittstelle besitzen.

Außerdem sind die Quellen des Cachewolf frei verfügbar, jeder mit einer Entwicklungsumgebung kann sich den selbst anpassen wie er will. Einmal veröffentlichtes Wissen kann nicht mehr rückgängig gemacht werden.

Man kann Lizenzen auch ändern.


Für Cachewolf würde das alles nichts bringen,
außerdem ist das ja sowieso beim Geocachen so:
Die eine haben die Mühe (Cacheleger, Freewareentwickler)
und andere den Nutzen (Cachesucher, GC:Vermarktung von unbezahlter Arbeit

 

[rautaxe]

Ergänzung: Warum soll das Importieren von GPX-Dateien kostenpflichtig sein? Das verursacht doch keine zusätzliche Serverlast, die Dateien liegen ja auf dem Dateisystem des Computers vor. Es gibt noch mehr Datenquellen als nur OC.de.

Warum nicht, wenn man für Lagerung von Daten bereit ist
zu zahlen (PM-Mitgliedschaft), kann man
ja wohl ach die Entwickler für Ihren Aufwand entschädigen.
Was glaubst du, wie viele Stunden ich für den CW-Export
auf den Triton benötigt habe. Wenn das an Überstunden
gemacht hätte, könnte ich mir auf Jahrzehnte die PM
kaufen (wenn ich denn wollte).

PS: BTW: Lob an an alle, die meine angepasste CW-Version nutzen,
ich hab nur positives Feedback bekommen und Fehler wurden
sachlich und höflich vorgebracht.

 

[xtb]

Ich hab nix anderes behauptet ... oder?

Man könnte aus Deinem vorherigen Beitrag anderes herauslesen.

Ich finde ich habe es relativ klar formuliert. Und "man könnte" hilft hier wenig weiter ...

 

[Engywuck]

[...] Oder einfach nur Naturgutmenschen und Reichsbedenkenträger oder was? [...]

DAS ist ein Niveau auf dem ich mich weigere zu diskutieren.
*plonk*

Das ist natürlich eine einfache, wenn auch keine elegante Methode, sich um eine Frage zu drücken, auf die man keine Antwort weiß.

Gruß,
E.

 

[jennergruhle]

was spräche dann dagegen, die HTML-Seiten aus dem Browsercache zu parsen?

Ich würde mich mal über das "Schicksal" des GCTour-Programmierers informieren. Das Tool hat ja im Endeffekt nichts anderes gemacht.

Die Diskussion um GCTour habe ich mitverfolgt, aber es liest doch soweit ich weiß die Informationen per JavaScript von der GS-Webseite aus. Warum das "böse" ist weiß ich nicht, da ja kein zusätzlicher Traffic verursacht wird (die Informationen liegen schon im Browser), aber solange man keine automatischen Tools für den Abruf der Daten von der GS-Seite verwendet gibt es doch kein Problem mit GS. Es ist ja anscheinend auch SpoilerSync kein Problem (obwohl es echt "spidert").

Siehe dazu auch die ToU, Punkt 5:

You agree that you will not use any robot, spider, scraper or other automated means to access the Site for any purpose without our express written permission.

Ob ich Name, Beschreibung und Attribute des Caches nun per Copy&Paste aus dem Browser in CW kopiere oder CW die Informationen selber von meinem Computer (nicht von der Webseite!) holt kann GS doch egal sein. Es wird ja keiner dieser Punkte berührt: "robot, spider, scraper or other automated means to access the Site". Weil man eben nicht die Site anspricht.

 

[jennergruhle]

Nö, ich meine man würde auch das Spidern entfernen
und nur Opencaching.de nutzen, die im Gegensatz zu GC.com eine
richtige Schnittstelle besitzen.

Außerdem sind die Quellen des Cachewolf frei verfügbar, jeder mit einer Entwicklungsumgebung kann sich den selbst anpassen wie er will. Einmal veröffentlichtes Wissen kann nicht mehr rückgängig gemacht werden.

Man kann Lizenzen auch ändern.

Ja, aber nicht das Wissen aus den Gehirnen klopfen oder den Sourcecode von den Computern aller Entwickler. Kaum ist die Funktion weg, ist sie auch schon wieder da. Ebenso könnte man sie in alle anderen Tools (auch der "Guten"(tm)) einbauen, deren Source verfügbar ist.

Für Cachewolf würde das alles nichts bringen,
außerdem ist das ja sowieso beim Geocachen so:
Die eine haben die Mühe (Cacheleger, Freewareentwickler)
und andere den Nutzen (Cachesucher, GC:Vermarktung von unbezahlter Arbeit

Genau, und diejenigen welche die Mühe haben werden wenn sie nützliche Funktionen bauen noch als Schmarotzer beschimpft. Obwohl die echten Schmarotzer dann die sind, die damit stumpfsinnig 1000e Caches auf einmal absaugen statt das Tool intelligent und mit Rücksicht zu nutzen.

 

[Carsten]

es liest doch soweit ich weiß die Informationen per JavaScript von der GS-Webseite aus. Warum das "böse" ist weiß ich nicht, da ja kein zusätzlicher Traffic verursacht wird (die Informationen liegen schon im Browser), aber solange man keine automatischen Tools für den Abruf der Daten von der GS-Seite verwendet gibt es doch kein Problem mit GS.

Du wählst Caches für eine Route aus und packst sie auf eine Liste (das kannst du aus der Karte heraus machen und musst dazu *nicht* die einzelnen Listings öffnen). Wenn du fertig bist, klickst du auf eine Schaltfläche und GCTour liest *automatisch* die notwendigen Cachelistings ein und erstellt eine GPX-Datei. Es geht Groundspeak wohl auch weniger um den Traffic, als um die Möglichkeit, als Nicht-PM GPX-Dateien herunterladen zu können.

 

[Carsten]

Obwohl die echten Schmarotzer dann die sind, die damit stumpfsinnig 1000e Caches auf einmal absaugen statt das Tool intelligent und mit Rücksicht zu nutzen.

Da stimmen wir sogar überein. Nur guck dir doch mal an, wie die meisten Fragen zum Spidern aussehen. Da schreiben so gut wie keine User, die Probleme haben, mal irgendwo 10 einzelne Caches zu spidern. Danach würde dann nämlich wirklich kein Hahn krähen. Bei den meisten Anfragen geht es darum, Umkreise mit mehreren hundert Caches zu spidern. Und wenn sich die vernünftigen CW-User nicht gegen diesen Missbrauch wehren, landen sie halt irgendwann im selben Topf, weil man sie gar nicht wahrnimmt.

 

[snaky]

Du hast offensichtlich mindestens ein Jahr Cachwolf-Entwicklung verpasst...

 

[greiol]

so, die attribute sind also endlich in der pq. das ist gut. wenn die jungs jetzt noch die links zu den bildern in die pq schreiben, könnte man die auch ganz entspannt nachladen ohne den hauptserver zu belasten. das wär doch was.

 

[jennergruhle]

Du wählst Caches für eine Route aus und packst sie auf eine Liste (das kannst du aus der Karte heraus machen und musst dazu *nicht* die einzelnen Listings öffnen). Wenn du fertig bist, klickst du auf eine Schaltfläche und GCTour liest *automatisch* die notwendigen Cachelistings ein und erstellt eine GPX-Datei. Es geht Groundspeak wohl auch weniger um den Traffic, als um die Möglichkeit, als Nicht-PM GPX-Dateien herunterladen zu können.

Aha. Ich habe GCTour noch nie genutzt, aber so wie Du es beschreibst wird es dann durchaus spidern.
Ich meinte eher das Auswerten der ohnehin vorliegenden HTML-Seiten im Browsercache. Das intelligente Ausnutzen von vorhandenen Informationen, um sich selbst daraus andere nützliche Informationen zu erzeugen (ohne die zitierten Richtlinien zu verletzen), kann ja nicht generell verboten sein. Wäre Intelligenz immer dann verboten, wenn sie anderen nicht in den Kram passt, würden wir noch immer auf den Bäumen hocken.

 

[huzzel]

Da stimmen wir sogar überein. Nur guck dir doch mal an, wie die meisten Fragen zum Spidern aussehen. Da schreiben so gut wie keine User, die Probleme haben, mal irgendwo 10 einzelne Caches zu spidern. Danach würde dann nämlich wirklich kein Hahn krähen. Bei den meisten Anfragen geht es darum, Umkreise mit mehreren hundert Caches zu spidern. Und wenn sich die vernünftigen CW-User nicht gegen diesen Missbrauch wehren, landen sie halt irgendwann im selben Topf, weil man sie gar nicht wahrnimmt.

Verständnisfrage:
Ich spidere 30 km um meinen Ort. Das betrifft zur Zeit ca. 900 Caches. Bei jedem Durchlauf (max. 1mal die Woche) kommen so 5 -10 neue dazu und ca. ebenso viele werde aktualisiert. Ist das jetzt in Deinen Augen noch akzeptabel oder schon übertrieben?

P.S.
Den 30 km Umkreis habe ich in ca. 3 Monaten nach und nach aufgebaut.

 

[Engywuck]

Meine Vermutung zur Motivation des Spiderverbots ist mittlerweile eine ganz andere. Die Serverlast kann so richtig der Grund nicht sein. Wie im Thread schon an verschiedenen Stellen erläutert, ist es fraglich, ob durch Spidern überhaupt signifikant mehr Traffic und/oder Serverlast erzeugt wird. Und selbst wenn - jeden Abend wird der Groundspeak-Server von Tausenden von Usern weltweit per Browser bearbeitet. Da sollte der minimale Prozentsatz spidernder User völlig drin untergehen.
Nein, meine Vermutung ist ökonomischer Natur:
Für "normale" Member wird auf den Groundspeak-seiten Werbung eingeblendet. Für diese Werbung knöpft Groundspeak den Firmen Geld ab. Und die Menge des Geldes, was man den Firmen abnehmen kann, wird daran gemessen werden, wie groß die Klickraten auf die Banner sind. Klar, für Werbung, auf die nicht geklickt wird, wollen die Kunden auch nichts zahlen. Wer aber nun spidert, umgeht damit wieder eine Möglichkeit, Werbung vorgeführt zu bekommen. Die Klickraten - und damit die Einnahmen für Groundspeak - nehmen ab.

Gruß,
E.

 

[t31]

Schön zu lesen, daß Groundspeak offensichtlich nun Konsequenzen zieht. Ca. 21 € für eine PM nach akt. Dollarkurs sind ja nun wirklich nicht die Welt...
so, und nun können mich gerne alle versuchen zu steinigen, denen 1,75 €/Monat zu viel an (Mehr)Ausgaben ist.

Welche Konsequenzen, habe ich etwas verpasst?

Ach so, du meinst die gestrige Änderung von:
"ctl00$ContentBody$pgrTop$ctl" & Format(Page, "00")

zu:
"ctl00$ContentBody$pgrTop$lbGoToPage_" & Page



Junge, da hat nur mal jemand an der Page gespielt, mit Blocken von Abfragen hat das nichts zu tun, das war halt nur ein Nebeneffekt, das zunächst nach der 1 Seite mit 20 Caches Schluß war. Mit was (Browser oder sonstiges Tool) abgefragt wird kann die andere Seite gar nicht erkennen.

 

[TweetyHH]

Mit was (Browser oder sonstiges Tool) abgefragt wird kann die andere Seite gar nicht erkennen.

Naja, an sich schon ... wäre es nur nicht so leicht "fälschbar" ;-)

 

[Dunuin]

Ist jetzt schon eine Lösung bekannt, bezügich des Aktuallisierens der Bilder und Logs?
Ich habe echt kein Problem mein Cachewolf fürs papierlose Cachen mit PQs zu füttern, aber Multis ohne Bilder gehen echt garnicht...

 

[jhohn]

wenn die jungs jetzt noch die links zu den bildern in die pq schreiben, könnte man die auch ganz entspannt nachladen ohne den hauptserver zu belasten. das wär doch was.

Die sind doch schon lange drin.

 

[jennergruhle]

Dann könnte CW doch falls vorhanden diese nutzen (ähnlich SpoilerSync o.ä.), um ohne Spider-Funktion die Bilder direkt nachzuladen. Dann würden im Vergleich zu gespiderten Caches (soweit ich weiß) nur die Logs fehlen.

 

[Engywuck]

Meines wissens passiert das genau so.

Nachtrag: Die Spoilerbilder sind aber wohl nicht mit drin.