Με τη λίγη εμπειρία που έχω γύρω από το web θα σκεφτόμουν τα εξής:
Από όσο ξέρω στο download πολλών μικρών αρχείων το http είναι πιο γρήγορο από το ftp, οπότε ίσως να προτιμήσεις το http αν παίζεις με ftp.
Για να επταχυνθεί η διαδικασία του download θα έβαζα ένα μικρό αριθμό threads να αναλάβουν να κατεβάσουν τις εικόνες από τον ίδιο server. Ξέρω ότι οι web servers δεν εξυπηρετούν πολλά requests ταυτόχρονα στον ίδιο client, οπότε είναι καλή ιδέα να χωρίσεις τα downloads σου έτσι.
Τα 250.000 αρχεία είναι πάρα πολλά για να κατέβουν γρήγορα. Δεν είναι τόσο το μέγεθος των data σε GB αλλά το πλήθος των request που τελικά θα κάνεις. Είναι πιο γρήγορο να κατεβάσεις ένα αρχείο 100MB από ότι να κατεβάσεις 100 αρχεία 1MB από τον ίδιο server. Αν υπάρχει η δυνατότητα να σου φτιάξει ο web server ένα .zip και να χρειαστεί να κατεβάσεις ένα αρχείο τότε θα λάβεις τις εικόνες σου πολύ πιο γρήγορα. Ας μην είναι ένα πολύ μεγάλο zip, ας είναι πολλά zipάκια με το καθένα να περιέχει π.χ. 100 εικόνες.
Τάσος Καραγιάννης
Baby debugging steps...