Πρώτα Βήματα - Βάσεις δεδομένων

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

DaltonGR — Wed, 10 Jan 2007 18:05:08 GMT

ευχαριστώ παιδιά για τα replies..θα το κοιτάξω το θέμα με το bulkcopy και αν δεν βγεί άκρη εν τέλει τις stored procedures και θα σας πω τα αποτελέσματα..

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

vxan — Wed, 10 Jan 2007 02:32:51 GMT

Αν έχω καταλάβει καλά πρόκειται για ένα module το οποίο δε θα τρέξει μιά φορά και τέλος αλλά μιλάμε για μία ongoing διαδικασία που θα τρέχει σε τακτά χρονικά διαστήματα.
Αν θεωρήσουμε λοιπόν ότι και τα δύο dataset περιέχουν αρκετούς πίνακες τα πράγματα περιπλέκονται λιγάκι, οπότε και χρειάζεσαι "στρατηγική".
Πρώτον καλό θα είναι να έχεις φροντίσει στο κάθε dataset νσ έχεις relations οπότε και να προστατευθείς από ξεκρέμαστα δεδομένα. Έπίσης πρέπει να σκεφθείς τι γίνεται με τις διαγραφές και με τις τροποποιήσεις δεδομένων.

Ας θεωρήσουμε ότι το Dataset A είναι η πηγή και το Β ο στόχος

// Δημιουργία του Dataset A instanse
// Γέμισμα του Dataset A με δεδομένα με την χρήση Dataadapters από την βάση πηγή
// Δημιουργία του Dataset Β instanse
// Γέμισμα του Dataset B με δεδομένα με την χρήση Dataadapters από την βάση στόχο

// Merge (συγνώμη για το αγγλικό δε μου έβγαινε καλύτερο) τα δεδομένα των δύο dataset στο 2ο
// το Merge είναι ολόκληρη ιστορία και εξαρταάται αν το κάθε datatable στο A έχει ίδιο
// structure με το αντίστοιχο datatable στο dataset B
// Οπότε εδώ πρέπει να αποφασίσεις κάθε φορά αν θα χρησιμοποιήσεις το merge στο datatable
// (δουλεύει στο NET 2.0 only for datatables) ή πας για μεγάλες λούπες με συγκρίσεις κλειδιών
// οπότε βοήθεια σου

// Το καλό είναι βέβαια ότι μετά από αυτή τη διαδικασία έχεις ότι πιο αξιόπιστο γίνεται για το
// συγκεκριμμένο τρόπο migration και έχεις τα new, modified, deleted rows

// Ακολουθεί το UPDATE του κάθε datatable στο dataset B και τελείωσες.

Επίσης θα πρέπει να αποφασίσεις αν όλα τα παραπάνω θα τρέξουν σε transaction ώστε να είσαι σίγουρος αν μπήκαν όλες οι εγγραφές.

Οι αποφάσεις είναι δικές σου ανάλογα με τις απαιτήσεις που έχεις οι οποίες δεν ήταν και τόσο ξεκάθαρες

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

KelMan — Tue, 09 Jan 2007 23:59:41 GMT

Γιατί να μην έχεις και την πίτα ολόκληρη και τον σκύλο χορτάτο; Ο καλύτερος τρόπος είναι να χρησιμοποιήσεις την κλάση SQLBulkCopy του ADO.NET 2.0. Θα πετύχεις ταχύτητες ανάλογες του DTS καθώς χρησιμοποιεί TDS (Tabular Data Sream) πακέτα αλλά θα έχεις ικανοποιήσει και το requirement να γίνεται η δουλειά μέσω εφαρμογής. Για περισσότερα δες εδώ, έχει και παράδειγμα ακριβώς αυτού που προσπαθείς να κάνεις: http://msdn2.microsoft.com/en-us/library/system.data.sqlclient.sqlbulkcopy.aspx

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

imanos — Tue, 09 Jan 2007 23:27:53 GMT

Έχεις ένα DataAdapter με ένα Dataset που κατεβάζεις τά δεδομένα που θέλεις να περάσεις στην άλλη βάση.

Κατόπιν έχεις ένα DataAdapter και ένα Dataset από την βάση που θέλεις να εισάγεις τά δεδομένα.

Κάνεις fill τους δύο DataAdapter καλό είναι στόν δεύτερο DataAdapter για να μην κατεβάσεις δεδομένα να προσθέσεις στό SelectCommand.CommandText και WHERE 0=1

Κατόπιν κάνεις import τα rows του πρώτου Dataset στο άλλο (αυτό μπορεί να γίνει με διάφορους τρόπους αν η δομή τών Dataset είναι η ίδια χρησιμοποίησε την ImportRow ) και κάνεις update στον δεύτερο DataAdapter

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

DaltonGR — Tue, 09 Jan 2007 20:08:40 GMT

καλημέρα

Δέν είναι παν/κή εργασία, έχω τελειώσει απο αυτό πρόσφατα.Είναι ένα project που κάνω για να μάθω διάφορες τεχνολογίες που σίγουρα θα μου ζητηθούν.

Λοιπόν στο ψαχνό, μπορώ να μεταφέρω τα δεδομένα που έχω σε ένα dataset σε ένα αλλο dataadapter και αυτά με την σειρά τους να τα ποθηκεύσω στην νέα βάση δεδομένων???

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

anjelinio — Mon, 08 Jan 2007 19:48:16 GMT

Εννοείται !!! Αλλά απ'ότι φαίνεται, υπάρχει σαφές requirement να υπάρχει ενδιάμεσα κάποιο application ... παν/κή εργασία μου μυρίζει;

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

imanos — Mon, 08 Jan 2007 16:53:30 GMT

anjelinio πολύ καλο αυτό που έστειλες στον φίλο μας αλλά πιστεύω ότι ο φίλος μας πρέπει να κατανοήσει ότι αν η εφαρμογή παίζει σέ απομακρυσμένο δίκτυο και ο όγκος τών δεδομένων είναι μεγάλος τότε το αποτέλεσμα του performance θα είναι τραγικό γι' αυτό και επιμένω στην λογική της stored procedure η οποία θα είναι απείρως πιό γρήγορη γιατί δέν υπάρχει μεταφορά δεδομένων και οι εντολές insert , update, delete σε μαζικά statements είναι πιό γρήγορη από την Transact SQL από τό να γίνεται μέσω DataAdapter

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

anjelinio — Sat, 06 Jan 2007 23:14:02 GMT

Η διαδικασία είναι απλή όντως θεωρητικά :D

Στις δύο methods παρακάτω θα δείς πως μπορείς να φορτώσεις και να σώσεις δεδομένα απο / πρός τη βάση σε ένα dataset. Βασικά, με τη χρήση του DataAdapter είναι υπερβολικά εύκολο όπως θα δείς.

Το μόνο που μένει να κάνεις, είναι το copy-paste των δεδομένων μεταξύ των δύο datasets με το διαφορετικό schema, και να σώσεις το δεύτερο στη νέα σου βάση.

    /// <summary>

    /// Fills the tables in the DataSet from the database, using

    /// DataAdapters

    /// </summary>

    /// <param name="dSet"></param>

    /// <param name="tableNames"></param>

    /// <param name="objConn"></param>
    public static void LoadData(DataSet dSet, string[] tableNames, SqlConnection objConn){
        // ok, loop inside the tableNames, and fill each table in sequence ...
        foreach (string tableName in tableNames) {

            // get the table we're looking for, and create a DataAdapter for it.

            // for simplicity, let it generate the sql statements itself

            SqlDataAdapter tableAdapter = new SqlDataAdapter(string.Format("select * from {0}", tableName), objConn);

            // ok, now use a CommandBuilder to provide all the sql ;]

            SqlCommandBuilder cmdBuilder = new SqlCommandBuilder(tableAdapter);

            // ok, now fill the table :)

            tableAdapter.Fill(dSet, tableName);

        }
    }

    /// <summary>
    /// Propagates changes in the dataset to the database
    /// </summary>
    /// <param name="dSet"></param>
    /// <param name="tableNames"></param>
    /// <param name="objConn"></param>
    public static void UpdateData(DataSet dSet, string[] tableNames, SqlConnection objConn) {
        // ok, loop inside the tableNames, and fill each table in sequence ...
        foreach (string tableName in tableNames) {
            // get the table we're looking for, and create a DataAdapter for it.
            // for simplicity, let it generate the sql statements itself
            SqlDataAdapter tableAdapter = new SqlDataAdapter(string.Format("select * from {0}", tableName), objConn);
            // ok, now use a CommandBuilder to provide all the sql ;]
            SqlCommandBuilder cmdBuilder = new SqlCommandBuilder(tableAdapter);

            // ok, now fill the table :)
            tableAdapter.Update(dSet, tableName);
        }
    }

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

DaltonGR — Sat, 06 Jan 2007 21:43:55 GMT

δίκιο έχεις anjelino.ακριβώς όπως το περιγράφεις.αυτό που δεν μπορώ να καταλάβω είναι πώς θα κάνει την μεταφορά των δύο dataset και την εισαγωγη των δεδομένων στην άλλη βάση δεδομένων.

την διαδικασία την κατανοώ αλλα τον τρόπο..

είμαι και νέος σε αυτά...

ευχαριστώ....

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

anjelinio — Sat, 06 Jan 2007 19:50:46 GMT

Παιδιά, νομίζω οτι ο άνθρωπος εννοεί οτι προσπάθησε να απο client εφαρμογή να κάνει copy row by row.

Dalton, αν κατάλαβα καλά, το σενάριό σου είναι το εξής:

1. select απο διάφορα tables ένα κάποιο όγκο δεδομένων
2. transform / join των δεδομένων αυτών σε ένα άλλο schema, το οποίο ανταποκρίνεται σε μια άλλη βάση
3. Insert στην άλλη βάση

Σωστά;

Αν λύσεις του στύλ Data Transformation Services (DTS) κτλ δε γίνεται να εφαρμοστούν, θα έλεγα οτι η καλύτερη μέθοδος που έχεις είναι με τη
χρήση datasets. Select ότι θές απο τα πρώτα tables, και μετά μετέφερε αυτά τα δεδομένα σε ένα άλλο dataset με το ανάλογο schema, και μετά με ένα DataAdapter κάνε insert τα νέα δεδομένα στην άλλη βάση.

Είναι λίγο επώδυνη διαδικασία, αλλά εδώ είμαστε.

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

Mitsaras — Sat, 06 Jan 2007 12:13:08 GMT

Ο Παναγιώτης έχει δίκιο. Αν η διαδικασία μέ χρήση μόνο των μέσων της βάσης δεδομένων είναι αργή, η ταχύτητα της άλλης μεθόδου θα είναι πολύ χειρότερη!

Επίσης, όταν λες row-row copy, τι εννοείς ακριβώς; Έλεγξε μήπως χρησιμοποίησες sub-optimal μθεδόδους (πχ cursors), ή έχεις κάποιο λογικό λάθος στον αλγόριθμό σου (πχ διπλές-τριπλές επαναλήψεις);

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

Panagiotis Kefalidis — Sat, 06 Jan 2007 10:24:32 GMT

Συγνώμη κίολας, αλλά αυτο που λες δεν στέκει.. Πως είναι δυνατόν να παίζει πιο ΑΡΓΑ απο το να τραβήξεις τα δεδομένα, να τα φορτώσεις στην μνήμη και να τα ξαναγράψεις πίσω, απο το να τα γράψεις κατευθείαν στον πίνακα όπως κάνεις το SELECT.. To SELECT έχει ενα κάρο μεθόδους να κάνεις OUTPUT ότι θέλεις και να το κάνεις insert όπου θέλεις..

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

DaltonGR — Sat, 06 Jan 2007 09:39:50 GMT

ναι φιλε μου χρειάζεται να γίνει απο εφαρμογή.δοκίμασα να το κανω με row row copy αλλα είναι περίπλοκο και αργό...

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

anjelinio — Sat, 06 Jan 2007 06:34:36 GMT

Dalton, πρέπει ο π ω σ δ η π ο τ ε να περάσεις απο client για αυτή τη διαδικασία; Όπως είπε κι ο imanos μερικά posts πρίν, είναι σαφώς πιο εύκολο, και σίγουρα πιο γρήγορα απο άποψη performance να κάνεις αυτή τη δουλειά με SQL μέσα απο τον SQL Server, παρά με τη χρήση οποιασδήποτε άλλης "μεθοδολογίας" ...

Υπάρχει λοιπόν καποιο σαφές requirement που λέει οτι πρέπει να γράψεις μια εξωτερική εφαρμογή που κάνει όλη αυτή την ιστορία;

Απ: Μεταφορά δεδομένων απο μία βάση σε μια άλλη μέσω εφαρμογής

DaltonGR — Fri, 05 Jan 2007 21:39:52 GMT

υπάρχει λύση για το πρόβλημα μου???....