Design & Architecture

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

KelMan — Wed, 01 Nov 2006 07:13:01 GMT

Ήταν η πρώτη φορά που έπαιξα λίγο πιο σοβαρά με GDI+, μου άρεσε και το διασκέδασα μετά

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Dimitris Papadimitriou — Wed, 01 Nov 2006 04:17:16 GMT

Ουσιαστικά πρόκειται για το γραφικό εργαλείο που καλείται να δημιουργήσει το xml (στην δική μου λύση) ή το ini (στην λύση odbc) που περιγράφει τις στήλες.

Προς το παρόν δεν νομίζω να προκύψει αυτή η απαίτηση, στο συγκεκριμένο project που δουλεύω. Επειδή όμως η όλη διαδικασία του mapping έχει γίνει σε ξεχωριστό assembly με σκοπό την επαναχρησιμοποίηση, θα ήθελα στο μέλλον να κάνω ένα τέτοιο γραφικό εργαλείο!

Βέβαια προϋποθέτει ότι έχουμε ανιχνεύσει τις στήλες, ειδικά αν το αρχείο είναι fixed length και όχι delimited.

Από ότι βλέπω έχεις κάνει αρκετή δουλειά στο γραφικό μέρος!

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

KelMan — Wed, 01 Nov 2006 03:49:34 GMT

Όντως, πολύ χρήσιμο. Είχα φτιάξει Wizard με αυτό, σαν κι αυτόν που έχει το Excel όταν κάνεις import data. Αν θυμάστε μια κουβέντα που είχαμε κάνει για mapping control, την είχα ξεκινήσει με αφορμή αυτό το sub-project. Μπορεί να σε ενδιαφέρει ως προς το UI part, ρίξε μια ματιά εδώ: http://www.dotnetzone.gr/cs/blogs/mkelaiditis/articles/8929.aspx

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Dimitris Papadimitriou — Wed, 01 Nov 2006 03:37:48 GMT

Εξαιρετικά ενδιαφέρον. Ουσιαστικά το παράδειγμα χρησιμοποιεί τον Microsoft ODBC Driver for Text Files και τον ODBCDataAdapter για να διαβάσει τελικά το αρχείο. Φαντάζομαι ότι μπορεί κανείς να χρησιμοποιήσει τον αντίστοιχο data reader, μια που το Fill θα διαβάσει όλο το αρχείο στην μνήμη.

Αν στον ίδιο φάκελο με το αρχείο υπάρχει ένα αρχείο με όνομα schema.ini, τότε μπορεί να παραμετροποιηθεί η γραμμογράφηση. Ουσιαστικά σε αυτή τη σελίδα (που αναφέρεται στο blog που αναφέρεις) http://msdn.microsoft.com/library/default.asp?url=/library/en-us/odbc/htm/odbcjetschema_ini_file.asp μπορεί κανείς να περιγράψει την μορφή ενός αρχείου όπως με το xml που είπα παραπάνω ή το xml που λέει ο Γιώργος.

Το ενδιαφέρον είναι ότι στο schema.ini μπορείς να θέσεις ένα αριθμό γραμμών (π.χ. 10) τις οποίες θα διαβάσει το driver για να ανιχνεύσει τον τύπο δεδομένων της κάθε στήλης στο αρχείο!

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Νατάσα Μανουσοπούλου — Tue, 31 Oct 2006 23:08:34 GMT

Δημήτρη, ρίξε και μια ματιά σε αυτό μήπως πάρεις καμία ιδέα ακόμα:
http://blogs.msdn.com/irenak/archive/2006/10/31/sysk-230-do-you-need-biztalk-to-load-a-csv-file.aspx

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Νατάσα Μανουσοπούλου — Tue, 31 Oct 2006 05:32:03 GMT

gcapnias wrote:
Δημήτρη η ιστορία σου είναι "κλασική" περίπτωση... Είχα παρόμοιο ζήτημα, για να γεφυρώσω 2 συστήματα. Πιο συγκεκριμένα:

Ψοφάω από περιέργεια να μάθω ποια είναι τα συστήματα αυτά... Έρευνα ανταγωνισμού γαρ

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

George J. Capnias — Tue, 31 Oct 2006 03:46:50 GMT

Τώρα που το είπες τα είδα...

Σου επισυνάπτω μερικά από αυτά που φτιάξει εγώ για import...

Και ένα σύντομο απόσπασμα για την ιστορία:

George J.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Dimitris Papadimitriou — Tue, 31 Oct 2006 02:43:27 GMT

Πολύ σημαντικό το σχόλιό σου Γιώργο! Ουσιαστικά αυτό που περιγράφεις στην τελευταία παράγραφο είναι ακριβώς αυτό που αποφάσισα να κάνω και εγώ, μάλλον για τους ίδιους λόγους. Αν δεις την επισύναψη που έχω παραπάνω θα δεις 2 παραδείγματα xml που περιγράφουν ακριβώς το transformation που πρέπει να γίνει. Αρχικά έχω δώσει την δυνατότητα για εισαγωγή από fixed length ή delimited αρχεία.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

George J. Capnias — Tue, 31 Oct 2006 02:33:32 GMT

Δημήτρη η ιστορία σου είναι "κλασική" περίπτωση... Είχα παρόμοιο ζήτημα, για να γεφυρώσω 2 συστήματα. Πιο συγκεκριμένα:

Γενικά οι ελληνικές εταρείες δεν έχουν HR συστήματα. Αλλά σίγουρα έχουν προγράμματα μισθοδοσίας. Τον τελευταίο καιρό όλο και περισσότερες όμως αποκτούν ένα HR πρόγραμα. Ένας από τους βασικούς σκοπούς ενός HR προγράμματος είναι να παρακολουθεί τους υπαλλήλους, την μισθοδοσία τους, τις θέσεις εργασίας που υπάρχουν μέσα σε μια επιχείρηση, και αφού οριστούν αυτές τα skills που έχει κάθε θέση, να μπορεί με την χρήση των ικανοτήτων και γνώσεών των υπαλλήλων να προτείνει υποψηφίους για μια θέση.

Η γεφύρωση εδώ έχει να κάνει με το οποιοδήποτε πρόγραμμα μισθοδοσίας, με το πρόγραμμα HR. Το δεύτερο ήταν βασισμένο σε Microsoft technologies και απαιτούσε SQL Server 2000, ενώ το πρόγραμμα μισθοδοσίας ήταν γενικά άγνωστο, όπως και τι τεχνολογία θα χρησιμοποιούσε. Το ζητούμενο ήταν μια φορά το μήνα, να εισάγωνται στο HR πρόγραμμα τα δεδομένα από το πρόγραμμα μισθοδοσίας αλλά ταυτόχρονα, να κρατούσε τα έξτρα δεδομένα που είχε το πρόγραμμα HR και ταυτόχρονα να μην χάνονται οι σχέσεις των δεδομένων, μετά από κάθε ενημέρωση.

Η πρώτη μας προσέγγιση ήταν να κάνουμε χρήση των Data Transformation Services, αλλά απότυχε όταν πήγε να εφαρμοστεί στο πελάτη.

Πολλοί πελάτες δεν είχαν SQL Server, και ήθελαν να κάνουν το έξοδο να αγοράσουν, μιας και το πρόγραμμα HR μπορούσε να τρέξει και σε MSDE. Δεν ήταν δυνατόν να τους αναγκάσουμε να αγοράσουν μόνο και μόνο για να μπορούμε εμείς να χρησιμοποιήσουμε Data Transformation Services. Μην πω για τους άλλους μισούς, που είχαν χρησιμοποιούσαν τεχνολογίες με flat files, που δεν υπήρχε ούτε ODBC για να συνδεθούμε επάνω τους.

Αυτό που δούλεψε, και δουλεύει ακόμα εδώ και 4 χρόνια τώρα, ένα custom πρόγραμμα που μεταφέρει δεδομένα από την μια εφαρμογή στην άλλη. Στην αρχή ήταν custom για τον κάθε πελάτη, αλλά μετά τους τρεις πρώτους, το πρόγραμμα μεταφοράς των δεδομένων απόκτησε μια markup γλώσσα/xml αρχείο που περίγραφε τα transformations που έπρεπε να γίνουν. Έτσι με μικρές αλλαγές κάθε φορά, η εφαρμογή μεταφοράς δεδομένων είναι έτοιμη για όποιο σύστημα, με την χρήση OLEDB/ODBC/csv αρχείων για εισαγωγή δεδομένων.

George J.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Dimitris Papadimitriou — Mon, 30 Oct 2006 22:37:32 GMT

Πολύ σωστά. Σκέφτομαι ότι αν αφαιρέσω τους μηχανισμούς custom κώδικα από την λύση μου τότε μπορεί αυτή να αποτελέσει απλά το front-end του συστήματός μου και τελικά το import να γίνει π.χ. από έναν biztalk. Το σημείο στο οποίο το σύστημά μου θα παραλαμβάνει τα δεδομένα θα είναι ο παραπάνω μηχανισμός, χωρίς όμως τους μετασχηματισμούς που θα έχουν γίνει πλέον στον biztalk.

Έχω λοιπόν απλά ένα layer στη διαδικασία import, το οποίο θεωρώ μικρό trade-off για την ευελιξία που μου δίνει.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

KelMan — Mon, 30 Oct 2006 22:14:22 GMT

(Χωρίς να έχω κοιτάξει τον κώδικά σου) Ναι, ένας τέτοιος μηχανισμός είναι απαραίτητος για μια generic λύση, ωστόσο έχε υπόψην αν αναπτύξεις ο ίδιος τη λύση, πέρα από το τεχνικό θέμα - πώς θα γίνει σωστά η δουλειά - υπάρχει και το θέμα του performance και του scalability που ενδεχομένως να σε απασχολήσει. Τα έτοιμα εργαλεία έχουν λύσεις. Πχ σε SSIS μπορείς να παίξεις με BulkInsert (και να κάνεις TableLock κατά το insert) για μέγιστο throughput ή να παίξεις με OLEDB Source, κλπ. Από την άλλη μεριά ο Biztalk έχει σχεδιαστεί ως Enterprise λύση και είναι πολύ scalable.

Μην με παρεξηγήσεις, δεν είμαι biased για τις έτοιμες λύσεις, απλά θα πρέπει να εξετάσεις όλες τις πλευρές της λύσης που θα επιλέξεις και να θέσεις την βαρύτητα που έχει κάθε χαρακτηριστικό για το case σου. Ας πούμε, τόσο τα SSIS όσο και ο Biztalk έχουν υπολογίσιμο learning curve καθώς και ανάλογο administration ενώ έχοντας αναπτύξει τη δική σου λύση (και γνωρίζοντας πως παίζει) είσαι έτοιμος να παίξεις κατευεθείαν. Είπαμε, είναι όλα θέμα trade offs.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Dimitris Papadimitriou — Mon, 30 Oct 2006 20:48:16 GMT

Νατάσα, όντως μιλάω για μια γέφυρα και όντως το σωστό είναι να λαμβάνει η εφαρμογή μου από συγκεκριμένο σημείο τα δεδομένα και όλες οι customιες να γίνονται σε μια άλλη διαδικασία που να γεμίζει το δικό μου προκαθορισμένο σημείο. Θυμίζει αρκετά αυτό: http://www.dofactory.com/Patterns/PatternBridge.aspx

Κάτι τέτοιο σκέφτηκα να υλοποιήσω και εγώ. Δείτε την επισύναψη. Περιέχει δυο xml. Το ένα περιέχει το schema για import από fixed length αρχείο που έχει κάποια πληροφορία κωδικοποιημένη στο ID (ίσως από ένα παλιό σύστημα), ενώ το άλλο κάνει import από από delimited αρχείο που έχει όλη την πληροφορία flat (ίσως από ένα πιο σύγχρονο σύστημα).

Ο κώδικας στο σύστημά μου λέει "δώσε μου το Sex" και ο κώδικας που κρύβεται πίσω βλέπει στο schema ότι π.χ. το αρχείο είναι utf-8, semicolon delimited και το sex βρίσκεται στη θέση 3. Αν πάλι το schema είναι διαφορετικό, βλέπει ότι το αρχείο είναι windows-1253, fixed length και ότι για να πάρει το sex πρέπει να εκτελεστεί ο custom κώδικας GetSex.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Νατάσα Μανουσοπούλου — Mon, 30 Oct 2006 20:26:18 GMT

Για να κάνεις τη διαδικασία του import λίγο πιο επεκτάσιμη, θα μπορούσες να εισάγεις ένα δικό σου data schema από το οποίο κάνεις εσύ την εισαγωγή, και στη συνέχεια να έχεις το μετασχηματισμό από το αρχικό σύστημα στη δική σου μορφή.
Αυτό το σχήμα μπορεί να είναι είτε ένας πίνακας, είτε ένα file format για πιο παλιά συστήματα τα οποία δουλεύουν έτσι τις γέφυρές τους ή αν δεν έχεις πρόσβαση στη βάση.
Καταλήγεις έτσι σε μια διαδικασία import, με το error handling και το χειρισμό των updates γραμμένο μια φορά, και τόσες διαδικασίες export από το αρχικό σύστημα στη δική σου μορφή όσες και οι εφαρμογές από τις οποίες αντλείς δεδομένα. Επίσης, αν το αρχικό σύστημα είναι άλλου κατασκευαστή με τον οποίο ο πελάτης σου έχει συμβόλαιο συντήρησης, μπορείς να τους σπρώξεις το κομμάτι του export και να ~~ξεφορτωθείς~~παραλληλίσεις έτσι τη δουλειά της "αποκωδικοποίησης" του περίεργου σχήματος που περιγράφεις.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

Dimitris Papadimitriou — Mon, 30 Oct 2006 20:20:57 GMT

Δεν νομίζω ότι θέλω να γίνω πιο συγκεκριμένος. Το ερώτημα είναι αρκετά φιλοσοφικό. Και οι απαντήσεις σας αρκετά σημαντικές! Όντως η λύση του sql server integration services είναι πολύ καλή, αν βέβαια έχεις sql server. Στην περίπτωσή μου, μάλλον ναι. Ή μια που μιλάμε για custom περιπτώσεις, μπορεί να χρησιμοποιηθεί όποτε υπάρχει.

Απ: Εισαγωγή δεδομένων από άλλο σύστημα - Integration

KelMan — Mon, 30 Oct 2006 20:10:57 GMT

Θα βοηθούσε αν ήσουν λίγο πιο συγκεκριμένος...

Είναι λίγο δύσκολο να κάνεις γενικευμένο σύστημα αν δεν ξέρεις ποιά είναι τα πιθανά σημεία στα οποία θα πρέπει να επεκταθεί. Πχ αν θες να φτιάξεις ένα σύστημα που να διαβάζει οποιοδήποτε τέτοιο proprietary ΙD και να κάνει map εξαγόμενες πληροφορίες σε πεδία της βάσης σου, τότε μπορώ να σκεφτώ ας πούμε τη δημιουργία ενός μηχανισμού με rules που θα γίνονται apply πάνω στα εισερχόμενα data. Τέτοια συστήματα υπάρχουν ήδη αλλά ακριβώς επειδή είναι πολύ generic, κοστίζουν και πολλά λεφτά (βλ. BizTalk Server). Πάντως εξέτασε και τη λύση του SQL Server Integration Services. Σου δίνει out-of-the-box τέτοια ευελιξία και άπαξ και φτιάξεις τον βασικό μηχανισμό, μετά μπορείς να τον προσαρμόζεις ανάλογα, για κάθε πελάτη.