info: DFÜ Menge vs. parsing Zeit beim spidern

[schappi]

habe mir von drews-informatik.de den PPC Interface Monitor geladen und festgestellt, dass bei ca. 20 heruntergeladenen Caches gerade mal 3,5 MB Datenvolumen gemessen. Frappierend ist, dass auf meinem HTC Die Zeitabstände zwischen den Datenübertragungen recht lange sind. Das deutet für mich auf unzureichende Prozessorleistung (200Mhz) beim parsen der Dateien hin... :-(

Es gibt nicht zufällig die Möglichkeit, das zu paralellisieren, um die gesamte spider-Zeit geringer zu halten ?

 

[maierkurt]

habe mir von drews-informatik.de den PPC Interface Monitor geladen und festgestellt, dass bei ca. 20 heruntergeladenen Caches gerade mal 3,5 MB Datenvolumen gemessen. Frappierend ist, dass auf meinem HTC Die Zeitabstände zwischen den Datenübertragungen recht lange sind. Das deutet für mich auf unzureichende Prozessorleistung (200Mhz) beim parsen der Dateien hin... :-(

Tröste Dich, meiner mit 400 Mhz ist auch nicht viel schneller.

Es gibt nicht zufällig die Möglichkeit, das zu paralellisieren, um die gesamte spider-Zeit geringer zu halten ?

Was meinst Du mit parallelisieren? Mehrere PDAs nebeneinander hinlegen?
Was sollten mehrere parallele Threads bringen? Wenn eine Threadausführung z.B. eine Minute braucht, dann brauchen zwei nebeneinander zwei Minuten, hast also nichts gewonnen. Es "würde" nur etwas bringen, wenn der Flaschenhals z.B. die Netzwerkverbindung ist, hier liegt es aber am Prozessor.

Gruß, maierkurt

 

[mirabilos]

Ich vermute mal, Du möchtest, daß der Download quasi im Hintergrund
ausgeführt wird und die Daten dann gespidert werden, wenn sie bereit
sind, also quasi:

{Download}{Download}{Download}{Download}{Download}{Download}…{Download}
          {Paarse}  {Paaaaaarse}{Paaaarse}{Parse} {Parse}………………arse}   {Parse}

statt des aktuellen

{Download}{Parse}{Download}{Parse}…{Download}{Parse}

Seh ich das richtig?

Aber tröstet euch, mein PC hat mit 500-700 MHz wahrscheinlich _weniger_
Rechenleistung als Eure PDAs. (Ok, wenn ich zu Hause am Stromnetz
hänge, kann ich ihn auf 1000-1200 MHz takten, aber das bringts auch nicht
wirklich, außer daß er verdammt heiß wird.)