SQL Server (και άλλες databases)

Re: Access και πολλές εγγραφές

BasiliZ — Sun, 03 Jul 2005 04:54:45 GMT

Αυτό με τα 2GB δεν το είχα υπολογίσει καθόλου αν και το είχα προβλέψει κάποια στιγμή στο παρελθόν. Τι να τους κάνεις ώμος που το θέλουν σε Access.... Ελπίζω τουλάχιστόν το ένα πρόβλημα να μην ξεπερνάει αυτό το μέγεθος και μετά από κάποιο ξεκαθάρισμα να βάζουμε μόνο κάποιες λύσεις σε μία τελική βάση (ελπίζω όχι σε Access). Πολλή καλή η ιδέα με τον FileSystemWatcher και το XML queue, νομίζω είναι αυτό ακριβός που έψαχνα. Να δούμε βέβαια μήπως δημιουργηθεί κανένα πρόβλημα αργότερα όπως είπες με την διαθεσιμότητα. Σε ευχαριστώ πολύ.

Re: Access και πολλές εγγραφές

KelMan — Sat, 02 Jul 2005 20:47:25 GMT

Χμμμ... Τι να σου κάνει το εργαλείο... Αυτά τα specs είναι πέρα από τα όριά του... Αφού όμως το dll βγάζει XML file, γιατί δεν υλοποιείς κάποια ασύγχρονη λύση; Μιας και το ADO.NET χειρίζεται ωραία-ωραία τα XML data, μπορείς να φτιάξεις έναν loader που θα κάνει digest το XML αρχείο και θα το ρίχνει με την ησυχία του στην db της Access... Θες να το πας παραπέρα; Βάλε και ένα FileSystemWatcher να παρακολουθεί πότε παράγονται XML αρχεία, να βάζει το path reference τους σε ένα queue και να το επεξεργάζεται. Κατόπιν, θα κάνει delete το αρχείο και ...καθάρισες. Ως λύση έχει περιορισμούς, πχ όσο πιο υψηλό είναι το utilization τόσο μικρότερη διαθεσιμότητα θα έχουν τα data, δηλαδή τόσο μεγαλύτερος χρόνος θα μεσολαβεί μέχρι να τα δεις στη βάση, αλλά δεν μου έρχεται κάτι καλύτερο στο μυαλό... Από την άλλη μεριά, έχεις κάνει υπολογισμό με αυτόν τον όγκο δεδομένων πότε περίπου θα φτάσεις το 2GB data που (θεωρητικά και στην καλύτερη περίπτωση) χωράει η βάση της Access; Τώρα που το σκέφτομαι, με αυτή τη λύση γλυτώνεις το multithreading αφού μπορείς να χρησιμοποιήσεις δύο ξεχωριστά processes...

Access και πολλές εγγραφές

BasiliZ — Sat, 02 Jul 2005 07:03:00 GMT

Συνάδελφοι ταλαιπωρημένοι καλησπέρα. Καινούριος στο forum και με ένα προβληματάκι που με παιδεύει. Έχω ένα CSP πρόβλημα και χρησιμοποιώ το Com object του ILOG για να παράγω λύσεις. Δεν γνωρίζω αρχικά το πλήθος των λύσεων ούτε μπορώ να το προβλέψω. Οι λύσεις από το ILOG υπολογίζονται σχετικά γρήγορα παρόλο που τις περισσότερες φορές ξεπερνάνε τις 20.000 και 30.000. το πρόβλημα είναι ότι αυτές οι λύσεις πρέπει να αποθηκευτούν σε μια (δυστυχώς)ACCESS βάση. Η κάθε λύση αποτελείτε συνήθως από 7 με 8 αντικείμενα και το κάθε αντικείμενο από 10-20 properties. Οπότε οι εγγραφές που γίνονται στους αντίστοιχους πίνακες στην βάση είναι εξαντλητικές. Το ερώτημα είναι το εξής:. ένας τρόπος, δεδομένου το ότι είναι άγνωστος ο αριθμός των λύσεων θα ήταν κάθε λύση να γράφετε κατευθείαν στην βάση. H εγράφη τις λύσης στην βάση διαρκεί πολύ περισσότερο από τον υπολογισμό μιας άλλης λύσης και καθυστερεί την όλη διαδικασία. Τρόπος #2. αν μαζέψω όλες τις λύσεις για να τις περάσω στο τέλος κινδυνεύω να σπαταλήσω όλη την μνήμη (20.000 λύσεις ένα απλό πρόβλημα). Τρόπος #3 παράλληλη εγγραφή με multithreading... εδώ καμία βοήθεια; Το ILOG μπορεί να τα βάλει και σε XML καμιά ιδέα; Κανένα Tip για να πετύχω καλύτερη ταχύτητα κατά την εγγραφή στην Access; sorry για το μεγάλο post, ευχαριστώ προκαταβολικά.