Verbannung bei Spidern mit CW

[Team Lotte]

Alles uninteressant die IP ist das wichtige, die kannst nicht so schnell ändern.

Da an einer IP (vom Gateway, was GS sieht) viele Clients dran hängen können, ein gefährliches Kriterium.

Nur für den der hinter einem Gateway sitzt.

Nö, für alle die mit der gleichen öffentlichen IP hinter einem Gateway (Oder Router, Proxy...) sitzen, die werden dann nämlich alle über den gleichen Kamm geschoren. Es sei denn, GS wertet die TCP-Pakete aus und schaut, ob die möglicherweise von unterschiedlichen PC stammen. Aber alles viel zu aufwendig.

Einfachste Methode um einen viel Klicker von einem Spider zu unterscheide: Eine Seite anzeigen, auf der man eine Aufgabe berechnen muss oder sonstige Überprüfungen ob ein Mensch davor sitzt. Wenn nicht, kann man die IP für eine Zeit sperren.

Ja klar...nach jedem Listingaufruf erstmal das Ergebnis von 9*4 eingeben? Bring die nicht auf dumme Gedanken....

 

[justus]

Aber den Schutz hat ja schon wer anders in einem anderen Beitrag hier gepostet:
Einen Account zum Loggen, einen jederzeit ersetzbaren zum Dosen raussuchen.

Das würde ja bedeuten, dass man zwei PM unterhalten und bezahlen müsste. Bei der jetzigen "Kundenfreundlichkeit" dieser Firma hier ist das eine reine Fehlinvestition.

Gruss
Justus1.

 

[Rudi56]

Ja klar...nach jedem Listingaufruf erstmal das Ergebnis von 9*4 eingeben? Bring die nicht auf dumme Gedanken....

Nein, sondern nur wenn von der IP aus mehr als X Seiten in einer Zeit von Y Sekunden aufgerufen werden.

Ersetze X durch 1-100 und Y durch 1-120

Gruß, Rudi
Ich bin auch der Meinung, das GC lieber seine Kunden API weiter vorantreiben sollte anstatt hinter Spidern her zu sein.

 

[Engywuck]

Einfachste Methode um einen viel Klicker von einem Spider zu unterscheide: Eine Seite anzeigen, auf der man eine Aufgabe berechnen muss oder sonstige Überprüfungen ob ein Mensch davor sitzt.

Für den CacheWolf natürlich kein Problem: Da man ja i.a. interaktiv vorm CacheWolf sitzt, kann die betreffende Grafik runtergeladen, angezeigt, die Lösung eingegeben werden - und weiter geht's

Gruß,
E.

 

[alf16]

Jetzt aber noch mal für die ganz dofen. Wenn ich meine Cachewolf Datenbank aktualisiere, kann es dann zu schwierigkeiten bei GS kommen? In der Datenbank sind 500 Caches.

Danke für die Info und Gruß

Alf16

 

[MiK]

Was meinst Du mit "aktualisieren"? Alle 500 markieren und aktualisieren lassen? Das würde ich nicht machen. Das erzeugt schon auffällige Last auf dem Server. Das ist nicht nur auffällig, sondern auch nicht nett gegenüber anderen Usern.

Verwendest Du immer nur die Funktion zum Umkreis spidern und aktivierst dabei das automatische Updaten von Caches, bei denen es größere Änderungen gab. Dann entsteht nicht viel Last, da nur neue Caches und Caches, bei denen sich der Status geändert hat geladen werden.

Um dann 100% aktuelle Daten zu haben, muss man halt vor der Tour noch mal die paar geplanten Caches aktualisieren. Und wenn man möchte kann man auch ab und zu nach Aktualisierungsdatum sortieren und eine Hand voll ältere aktualisieren.

So mache ich es und das ist meine vorgeschlagene Vorgehensweise. So hat man seinen Datenbestand halbwegs aktuell und sorgt für kaum mehr Last als gelegentliches Surfen auf den GC-Seiten.

Wer natürlich nicht damit leben kann, dass nicht immer der ganze Datenbestand auf dem aktuellsten Stand ist, muss dann bereit sein mit den Konsequenzen zu leben.

 

[alf16]

Also ich mache es bisher immer so. Ich lade mir die GPX Datei aus dem PQ ohne die Waypoints in Cachwolf. Markiere alle Dateien und aktualisiere alles. Nur so bekomme ich doch die Bilder in CW und ich bekomme auch die Info was für ein Cache ins Archiv gewandert ist. (Die Waypoints lade ich übrigens nicht, da sie sonst immer dopelt im Verzeichnis sind)
Sehe ich das richtig, daß ich mich damit zur zeit auf dünnen Eis bewege?
Gibt es eine andere Möglichkeit zumindest an die Bilder zu kommen.
Denn wenn ich mir die PQ's für eine Urlaubsregion hole wäre es schon nicht schlecht auch die Bilder zu haben.

Danke und Gruß

Martin

 

[MiK]

Die Bilder kannst Du Dir doch direkt beim Import der GPX dazu laden lassen.

 

[greiol]

Ich weiß nicht, ob dieses Verhalten a) nachvollzogen werden kann und b) eindeutig einem Automatischen Programm zugeordnet werden kann.

es ist eine frage des aufwandes den man bereit ist als dienstanbieter zu treiben. für gewöhnlich führt so etwas dann zu einem gewissen wettlauf zwischen anbieter und tool-programmierer (variable delays sind da nur der erste schritt). dabei muss der anbieter den kampf nicht gewinnen (kann er auch nicht), er muss nur regelmäßig jemanden öffentlichkeitswirksam erwischen.

Dank der Tabtechnologie neuerer Browser ist es möglich, 20-30 Webseiten als Favorite zu speichern und diese mit einem Klick aufzurufen.

weil jemand mal 20-30 caches abruft wird kein seitenbetreiber der kosten und nutzen abwägen kann etwas unternehmen. wir sollten aber nicht vergessen, dass wir auch hier schon anfragen hatten wie blöd das memory problem doch ist, weil man nicht mal 200 caches ohne weiteres durchziehen kann oder nach tipps gefragt wurde wie man denn wohl am schnellsten mal ein paar tausend caches in eine datenbank fegt. das ist eine andere liga.

die beste chance als bot zu überleben hat meist der, der zum einen weiss wie man es macht und zum anderen sein tool nicht verbreitet. das schränkt aber auch aus sitebetreibersicht die menge der potentiellen störer so weit ein, dass sich die verfolgung für die paar nicht mehr lohnt. bei lösungen von der stange lässt sich über die masse der eingesetzten clients immer ein muster ableiten.

 

[t31]

Die Frage ist auch letztlich wenn GC erwischen könnte, es ist nicht das Problem, die Caches mit einem anderem Account zu aktualisieren bzw. herunter zu laden. Bereits gefundene Caches bleiben davon unberührt. Man muß also nur noch darauf achten die IP vorsorglich davor und nach der Aktion zu wechseln bevor man wieder mit seinem eigentlichen Account auf GC zugreift, etwa zum loggen.

Was Abfragen generell angeht, so kann man den User-Agent, die IP und das Zentrum einer Umkreissuche variieren und so statistische Auswertungen erschweren.

So lange man es nicht übertreibt wird GC kaum Energie aufwenden, schließlich gebe es noch ganz andere Möglichkeiten wie etwas das tauschen von PQs und das ist praktisch gar nicht abwendbar und nicht jeder PremiumMember steht auf Kriegsfuß mit FreeMembers.

 

[jennergruhle]

Der User-Agent dürfte doch auch das gewesen sein, was GS zur Erkennung dieses Makros herangezogen hat, viele andere Möglichkeiten gibt es doch in einem "nicht allzu geschwätzigen" HTTP-Header nicht. Und den könnte man theoretisch dauernd wechseln (mehrmals pro Sekunde), im Gegensatz zur IP, die ja mehr oder weniger fest ist. Es sei denn, man wählt sich alle paar Minuten neu ein - aber das ist äußerst unpraktikabel, oft sogar unmöglich. Ich müsste schon nen halben Tag offline gehen, um ne neue IP zu kriegen.

 

[feinsinnige]

Der User-Agent dürfte doch auch das gewesen sein, was GS zur Erkennung dieses Makros herangezogen hat, viele andere Möglichkeiten gibt es doch in einem "nicht allzu geschwätzigen" HTTP-Header nicht. Und den könnte man theoretisch dauernd wechseln (mehrmals pro Sekunde), im Gegensatz zur IP, die ja mehr oder weniger fest ist. Es sei denn, man wählt sich alle paar Minuten neu ein - aber das ist äußerst unpraktikabel, oft sogar unmöglich. Ich müsste schon nen halben Tag offline gehen, um ne neue IP zu kriegen.

Och, bei viele ISPs gibt es bei jeder Einwahl eine neue IP. Dann gibbet es anonymisierte Netzwerke wie Thor. Irgendwo im Internet findest Du täglich aktualisierte Listen von offenen, nicht transparenten Proxy-Servern.
Bei Verwendung von IPv6 gibt es m.W. aber noch en paar andere Aspekte zu beachte (z.B. fällt NAT da weg).

f