.NET Framework

Απ: Grid computing

spantos — Sun, 27 Jan 2008 05:17:55 GMT

Η αλήθεια είναι ότι δε ξέρω ποιό είναι το roadmap του Alchemi...
Προσπάθειες σε νέες τεχνολογίες όμως υπάρχουν. Όπως για παράδειγμα αυτή η προσπάθεια σε .Net framework 3.5 με τη χρησιμοποίηση WPF και Silverlight, δεν την έχω δοκιμάσει και δεν ξέρω πόσο ώριμη είναι αλλά δείχνει ότι το Grid Computing δεν είναι απλά ένα ακόμη Buzz Word ...

Απ: Grid computing

Παναγιώτης Καναβός — Fri, 25 Jan 2008 18:37:40 GMT

Πιάσαμε κουβέντα για το Grid computing στη δουλειά, και αρχίσαμε να θυμόμαστε όλοι τον καιρό που κάναμε ενδιαφέροντα πράγματα στις διπλωματικές μας! Κάποιοι από εμάς θα θέλαμε πολύ να είχαμε το Alchemi τότε: Άλλος με νευρωνικά δίκτυα, άλλος με δυναμική ρευστών, κλπ, κλπ.

Μόνο που το Alchemi φαίνεται ελαφρώς πεθαμένο. Απ' ότι φαίνεται δεν σκοπεύουν να βγάλουν σύντομα νέα έκδοση η οποία να εκμεταλλεύεται το .NET 3.5

Απ: Grid computing

Παναγιώτης Καναβός — Fri, 25 Jan 2008 18:20:42 GMT

Αυτό που περιγράφεις το έκανε και το 3D Studio όταν ήμουν φοιτητής (πριν από ........... εμ ........ 14 χρόνια?) μόνο που κανείς δεν το έλεγε grid τότε. Κάποιοι καταφέρνανε μάλιστα να τρέξουν το POVRay σε όλα τα μηχανήματα του εργαστηρίου για να κάνουν rendering με ... batchάκια.

Όσο για το grid γενικότερα δεν λέω ότι είναι τραγικά, απλά εξαιρετικά περιορισμένου ενδιαφέροντος. Γι αυτό και τα grid projects είναι ερευνητικά ενώ τα parallel/functional τα κάνει η ίδια η Microsoft.

Απ: Grid computing

spantos — Fri, 25 Jan 2008 06:19:34 GMT

Έχεις δίκιο Παναγιώτη σε αυτά που λες αλλά πιστεύω ότι τα πράγματα δεν είναι τόσο τραγικά όσο τα παρουσιάζεις στο Grid Computing...

Στη δουλειά κάποια στιγμή παρουσιαστήκε η ανάγκη να τρέξει ένα task (κόψιμο σε tiles μεγάλων εικόνων) το οποίο απαιτούσε πολύ χρόνο 1 εβδομάδα αν θυμάμαι καλά... Επειδή ο χρόνος είναι πολύτιμος όμως, ξεκίνησα αναζήτηση για το πως θα μπορούσα να το μειώσω.

Έτσι ψάχνωντας έπεσα πάνω στο Alchemi με το οποίο, με έλαχιστη εγκατάσταση - κώδικα και με χρήση όλων των μηχανημάτων των συναδέλφων μου στο γραφείο τα βράδια, κατάφερα να τελείωσω μέσα σε 2 ημέρες.

Χωρίς clusters, χωρίς σίδερο, χρήμα και ιδιαίτερες γνώσεις ένα μεγάλο task τελείωσε πολύ νωρίτερα...

Καλοί οι δύο ή 4 πυρήνες ενός συστήματος αλλά δε συγκρίνονται με τους 8 επεξεργαστές ενός grid

Απ: Grid computing

Παναγιώτης Καναβός — Thu, 24 Jan 2008 23:17:27 GMT

Έχεις δίκο, όσα λέμε ως τώρα αφορούν το parallel computing και όχι το grid computing. Ακόμα και το OpenMP είναι κυρίως για parallel/multicore συστήματα και όχι για MPI. Αυτό έχει να κάνει με τον τρίτο λόγο που η μόδα περνάει στα functional languages:

3. Ελάχιστοι οργανισμοί (παγκοσμίως) έχουν το σίδερο και το χρήμα που χρειάζεται να στήσουν και να διαχειριστούν ένα grid. Ενώ όλοι έχουν multi-core συστήματα.

Απλά, υπάρχουν απείρως περισσότερα multicore συστήματα (και το laptop μου) απ' ότι grids.

Απ: Grid computing

PALLADIN — Thu, 24 Jan 2008 22:18:57 GMT

Το ParallelFX είναι library για το .Net 3.5 (VS 2008)...Ένα απλό dll που το κανεις reference.

Απ: Grid computing

pap — Thu, 24 Jan 2008 20:38:36 GMT

Το parallelFX είναι plug-in του .Net;

Απ: Grid computing

PALLADIN — Thu, 24 Jan 2008 19:42:34 GMT

Φιλε Νάσσο,

Είναι μεγάλη μου χαρά να μοιραστώ μαζί σας ένα τόσο ενδιαφέρον και σημαντικό θέμα.

Πριν από μερικές μέρες, συνεννοήθηκα με τον Γιώργο Καπνιά για μια παρουσίαση...

Περισσότερες πληροφορίες θα ανακοινωθούν από τον Γιώργο.

Απ: Grid computing

spantos — Thu, 24 Jan 2008 19:09:53 GMT

Απλά να προσθέσω στα όσα πριν αναφέρθηκαν από τους φίλους Παναγιώτη και Palladin περισσότερο όμως όσον αφορά Grid Computing και όχι τόσο στο Parallel computing ότι μια ιδιαίτερα ενδιαφέρουσα πρόταση είναι και αυτή του Πανεπιστημίου της Μελβούρνης στα πλαίσια του έργου "the gridbus project" με ονομασία Alchemi.

Απ: Grid computing

Nassos.NET — Thu, 24 Jan 2008 18:19:04 GMT

Palladin,

Πρέπει να μας αφιερώσεις 2 ώρες σε ένα Comunity Event για Functional Programming and Parallel Programming, αφού είδα το video του Brian Beckman: Don't fear the Monads με κόλησε τρελά, και απο ότι εχω καταλάβει εισαι από τους λιγους που ασχολουνται με το "Sport" .

Please Share Knowledge

Nassos

Απ: Grid computing

PALLADIN — Thu, 24 Jan 2008 08:23:56 GMT

Το parallel programming είναι αρκετά challenging... I love it

Για MPI σε .Net: Pure Mpi.NET και MPI.NET

Απ: Grid computing

Παναγιώτης Καναβός — Thu, 24 Jan 2008 06:15:09 GMT

Μπορείς να τα δοκιμάσεις σε οποιοδήποτε PC. Βέβαια, θα πρέπει να έχει 2 πυρήνες ή επεξεργαστές τουλάχιστον για να καταλάβεις διαφορά. Μόλις τώρα άρχισα να ξαναμανασκαλίζω το ParallelFX και διαπίστωσα ότι 1) οι σημερινοί επεξεργαστές είνα διαολεμένα γρήγοροι και έξυπνοι. Σε πολλαπλασιασμό πινάκων double με 50.000.000 στοιχεία, ο υπολογισμός ήταν κάτω από 1 δευτερόλεπτο και έτρεχε πιο γρήγορα σε single threaded! Έπρεπε να αλλάξω τον υπολογισμό σε κάτι πολύ μυστήριο για να αρχίσει να φαίνεται η αξία του parallel. 2) Είτε OpenMP είτε Parallel For, θέλει προσοχή για να βγάλεις αποτελέσματα της προκοπής.

Απ: Grid computing

pap — Thu, 24 Jan 2008 04:35:20 GMT

F#;
Πρώτη φορά ακούω αυτή τη γλώσσα.
Λοιπόν παιδιά, επειδή τώρα τελευταία άρχισα να ερευνώ για
parallel programming κλπ., θέτω το εξής ερώτημα:

Υπάρχει δυνατότητα σε ένα απλό pc-άκι να τρέξουμε τέτοιου είδους εφαρμογές;
Η χρειάζεται εξειδικευμένο hardware;

Όσον αφορά το software το έχω ψάξει λίγο.

Ευχαριστώ για τις απαντήσεις σας.

Απ: Grid computing

PALLADIN — Thu, 24 Jan 2008 02:23:32 GMT

Καλησπέρα φιλε,
Μια χαρά τα λέει ο Παναγιώτης... Το Parallel programming είναι ένας τεράστιος τομέας... ανάλογα το πρόβλημα καθορίζεται η αρχιτεκτονική που θα επιλέξεις...

Από libs στο .Net έχουμε PFX και CCR...

Έχω έναν φίλο που κάνει high performance computing σε Fortran με OpenMP...
Κάνοντας code review μαζί του (είχε κάποια θέματα αρχιτεκτονικής),
συνειδητοποίησα ότι μπορώ να ξαναγράψω αυτό τον "χαμό" σε functional style με F#,
και ο κώδικας να μειωθεί στο μισό, να γίνει πιο readable πιο performant και πιο declarative!!!

Απ: Grid computing

Παναγιώτης Καναβός — Thu, 24 Jan 2008 01:31:37 GMT

Το OpenMP είναι API καθαρά για C++ (και Fortran), οπότε δεν υποστηρίζεται από το .NET αλλά υποστηρίζεται από την Visual C++. Όσον αφορά το grid computing και το MPI δεν έχω ασχοληθεί αλλά μία γρήγορη αναζήτηση στο google και το MSDN γυρίζει πολλά αποτελέσματα. Υπάρχουν τα Parallel Extensions για το .NET 3.5 και στο MSDN ψάχνοντας για "grid computing" θα βρεις πρώτα-πρώτα δύο webcasts, MSDN Webcast: Advanced .NET Programming for Grid Computing και MSDN Webcast: Object-Oriented Programming for Grid, ενώ ακόμα πιο γενικά για παράλληλη επεξεργασία, είναι φοβερά της μόδας αυτό τον καιρό οι functional γλώσσες, η F# , transactional memory, το Parallel LINQ (γιούχου Palladin!) κλπ.

Ο λόγος που το ενδιαφέρον γυρίζει στις functional γλώσσες είναι ότι το MPI δεν είναι scalable τουλάχιστον όσον αφορά business/everyday/gaming εφαρμογές οι οποίες θα τρέχουν σε N-core συστήματα για δύο λόγους:

Πρέπει να ξέρεις καλά την πλατφόρμα στην οποία θα εκτελεστεί το πρόγραμμα, κάτι το οποίο είναι ουτοπία σε εφαρμογές ευρείας χρήσης. Το πρόγραμμα θα πρέπει να μπορεί να τρέξει σε 1,2 ή 40 cores εκμεταλλευόμενο όσους επεξεργαστές βρει, σε όποια διάταξη.
Θέλει πολύ χρόνο για να γίνει σωστά ακόμα και για απλά θέματα. Εμείς όμως το θέλουμε γρήγορα και για πολύπλοκα θέματα.

Αντίθετα, με τις functional γλώσσες το ίδιο το runtime θα μπορεί να επιλέξει τον καλύτερο τρόπο εκτέλεσης του κώδικα, όπως ο query optimizer του SQL Server επιλέγει τον καλύτερο τρόπο εκτέλεσης ενός query.