Αυτό το thread δεν είναι τόσο μια αναζήτηση συγκεκριμένης απάντησης σε κώδικα όσο γενικότερων ιδεών. Ιδού το θέμα:

Επειδή το χρειάστηκα σε μια περίπτωση να διαβάσω ένα αρκετά μεγάλο αρχείο XML έκανα μια παράκαμψη και χρησιμοποίησα τον SQL Server. Ειδικότερα χρησιμοποίησα SQLXML Bulk Load

---

Manos

Για πολύ όμορφο XML Querying μπορείς να χρησιμοποιήσεις LINQ to XML.

Ξεκινώντας με την XDocument.Load("xmlFile");

Και συνεχίζοντας δημιουργώντας queries ξεκινώντας από το root του αρχείου.
Μπορείς να πάρεις Attributes, Elements, και να κάνεις ότι θέλεις. Ακόμη έχεις και τις
extension methods. Και φυσικά όλα τα Linq results είναι αυτόματα και DataSource.

Example:

var customersInCountry =
  from cust in customers.Descendants("Customer")
  where cust.Element("Country").Value == myCountryParam
  select new
     {
        CustomerID = cust.Attribute("CustomerID").Value,
        Company = cust.Element("Company").Value,
        Phone = cust.Element("Phone").Value 
     };

---

Τάσκος Γιώργος:

Για πολύ όμορφο XML Querying μπορείς να χρησιμοποιήσεις LINQ to XML.

---

Manos

Έστειλες ακριβώς όπως έγραφα το ίδιο πράγμα ακριβώς :Ρ. Ιδού:

Το LINQ to XML είναι ο τρόπος με τον οποίο κάνεις το query και έχει σχετικά μικρή επίδραση όταν το αρχείο είναι 250 MB. Είτε χρησιμοποιήσεις LINQ to XML και το XDocument, είτε XPath και το XPathDocument, αυτό που έχει σημασία είναι ότι φορτώνεις τα 250MB στη μνήμη πρίν γίνει το query. Το X(Path)Doument θα κάνει parse το XML και θα δημιουργεί ένα δέντρο στο οποίο μπορείς μετά να κάνεις queries χρησιμοποιώντας την αντίστοιχη τεχνολογία.

Αν το φόρτωμα όλου του αρχείου στη μνήμη δεν είναι πρόβλημα και οι δύο τεχνολογίες μπορούν να δώσουν παραπλήσιες επιδόσεις. Ποιά είναι γρηγορότερη όμως θα βγει μόνο με benchmark.

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

[EDITED]

Απάντησε ο Παναγιώτης που ήξερε το θέμα Loading Large XML στην μνήμη...

---

Είναι λίγο περίεργο να πηγαίνεις να απαντήσεις σε κάτι και να λείπει η ερώτηση! O gtas ρώτησε πως βγαίνουν XML αρχεία εκατοντάδων MB? Πολύ εύκολα. Όταν χρησιμοποιείς XML ως data transfer format, τα αρχεία σου θα βγουν μεγάλα. Είτε μεταφέρεις transactions από ένα σύστημα σε άλλο όπως λέει ο Μάνος, είτε φορτώνεις χαρτογραφικά δεδομένα σε GML, υπάρχουν πάντα περιπτώσεις που ένα data file μπορεί να σου βγει τεράστιο. Η χρήση XML αυξάνει κατά πολύ τον όγκο των αρχείων αλλά αυτό είναι το τίμημα που πληρώνεις.

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

Ακριβώς έτσι είναι. Αλλά από ότι βλέπω δεν υπάρχει κάτι πέρα από το να φορτώσω όλο το XML μνήμη. Πρέπει να θυσιάσω χρόνο ή μνήμη (όπως πάντα άλλωστε :Ρ)

Ευχαριστώ για την απάντηση Παναγιώτη αν και την έκανα EDIT την ερώτηση για να μην αλλάξω focus.
Ξέρω πως πολλές τεχνολογίες ανταλλάσουν πληροφορίες σε XML Format.
Πάντως και πάλι μου φαίνονται πολλά, 1GB ας πούμε XML , όπως κι αν έχει, λύση υπάρχει, αλα .NET Style

@miket969:

Θυσίασε λίγο μνήμη, είναι και φθηνή άλλωστε τελευταία :P

---

Σας ευχαριστώ όλους για τις απαντήσεις  :)

Αν το loading συμβαίνει συχνά η καλύτερη λύση είναι αυτή του Μάνου. Να φορτώσεις το XML σε μία βάση και μετά να κάνεις queries στη βάση. Διαφορετικά μία φορά στο τόσο τα φορτώνεις όλα στη μνήμη και κάνεις τα query σου.

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos