Γενικά Θέματα VS.NET

Απ: C# Parallel and VS 2010

Bill — Thu, 24 Feb 2011 03:32:13 GMT

μιλάω για υπολογισμό μεγάλου όγκου δεδομένων που θα κάνει ο client όχι fetching απλά απο βάση δεδομένων. Ασφαλώς και οι βάσεις είναι είναι multi-threaded με τον όρο multi- threaded database services εννοούσα σε υπολογισμούς που πρόκειτε να κάνει ο client αφού αποκτήσει τα δεδομένα.

πχ ένας μεγάλος φορέας με αριθμό δεδομένων 1 εκατομύριο πελατών θέλει να υπολογίσει μαζικά κάποιο οικονομικό μέγεθος για όλες αυτές τις εγγραφές (κάτι περίπλοκο που γίνεται στον κώδικα φαντάσου) τότε ο client αν μπορούσε να εκμεταλευτεί το multi core που ενδεχομένως του το παρέχει το hardware θα ήταν ευχής έργου.

Απ: C# Parallel and VS 2010

Παναγιώτης Καναβός — Wed, 23 Feb 2011 18:11:54 GMT

Bill :
Σε βάσεις με πολλά δεδομένα πχ τα οποία θα πρέπει να επεξεργαστούν μαζικά ,υπάρχουν καθυστερήσεις οι οποίες αν έτρεχαν παράλληλα θα μειωνόταν αρκετά .

Τότε θα απογοητευτείς. Οι βάσεις είναι ήδη multi-threaded, parallel και multi-core aware. Ίσα-ίσα, τις βάσεις προσπαθούν να μιμηθούν τα διάφορα frameworks! Η παράλληλη επεξεργασία στον client (και ο app server για τη βάση client θεωρείται) θα αύξησει τα προβλήματα και τις καθυστερήσεις, δεν θα τα μειώσει. Ο λόγος είναι ότι στην επεξεργασία θα προσθέσεις το latency και την καθυστέρηση του δικτύου, και την καθυστέρηση της επεξεργασίας. Locks τα οποία πιάνεις κατά το διάβασμα θα κρατηθούν πολύ περισσότερο αν η επεξεργασία γίνεται στον client απ' ότι αν γινόταν με κάποιο σωστό τρόπο στον server.

Πρώτα πρέπει να γράψεις σωστή SQL και σωστά batch operations και μετά να αρχίσεις να σκέφτεσαι multi-cores. Η βάση ξέρει πολύ καλύτερα από εσένα τα δεδομένα και τα στατιστικά τους και μπορεί να επιλέξει τις κατάλληλες μεθόδους επεξεργασίας καλύτερα απ' ότι εσύ. Επίσης, μπορεί να υπολογίσει το κόστος της χρήσης παράλληλης επεξεργασίας σε επίπεδο query σε σύγκριση με τη χρήση ξεχωριστών threads για κάθε client. Γι αυτό και δεν γίνονται όλα τα query parallel.

Απ: C# Parallel and VS 2010

Bill — Wed, 23 Feb 2011 06:24:34 GMT

Βασικά με ενδιαφέρει το θέμα γύρω απο multithreaded database services και γενικά για web services. Απο την άλλη θα πρέπει σιγά σιγά να αρχίσουμε να εκμεταλευόμαστε κ λίγο το hardware μιας και σήμερα όλοι οι νέοι επεξεργαστές έχουν τουλάχιστον 2 πυρήνες. Σε βάσεις με πολλά δεδομένα πχ τα οποία θα πρέπει να επεξεργαστούν μαζικά ,υπάρχουν καθυστερήσεις οι οποίες αν έτρεχαν παράλληλα θα μειωνόταν αρκετά .

Υπάρχει το MPI και το OpenMP εδώ και χρόνια το οποίο έδινε λύσεις σε μέγαλης κλίμακας υπολογισμών πχ γενετικοί αλγόριθμοι , προβλέψεις καιρού κ ένα σωρό μαθηματικά προβλήματα τα οποία σε σειριακή εκτέλεση θα κάνανε ίσως και μέρες. Η microsoft με το Parallel στο VS 2010 είναι καινοτόμα πιστεύω γιατί πλέον γίνεται προσιτό σε γλώσσα Like C# και επίσης μπορούμε επιτέλους να κάνουμε debug κάτι που με τα άλλα API δεν υπήρχε αυτή η δυνατότητα.

Απ: C# Parallel and VS 2010

Παναγιώτης Καναβός — Tue, 22 Feb 2011 07:57:10 GMT

Και πως και σε ενδιαφέρει το parallel? Έχεις κάτι συγκεκριμένο υπόψη? Μοντελλοποίηση πυρηνικών εκρήξεων? Ανάλυση παραγώγων σε καιρό κρίσεως? Παράλληλο κατέβασμα ταινιών?

Και μιά και λέμε για παράλληλο κατέβασμα ταινιών, ένας αρκετά ... "πρωτότυπος" τρόπος χρήσης των Tasks είναι να κάνεις subscribe σε windows events και να τα καταγράφεις σε βάση όπως έρχονται, ή να τα αναλύεις και να εκτελείς διάφορες ενέργειες. Αν το συνδυάσεις και με ένα Event Forwarding από όλο το domain σε ένα μηχάνημα, έχεις τα πρώτα βήματα για ένα τσάμπα operations manager

Απ: C# Parallel and VS 2010

Bill — Tue, 22 Feb 2011 07:42:42 GMT

Δεν έχει άδικο ο αδμιν ...! Απλά αργά η γρήγορα θα τον αναγκάσουμε να το κάνει το new category ...!

thanks για τα links.

Απ: C# Parallel and VS 2010

Παναγιώτης Καναβός — Tue, 22 Feb 2011 05:23:58 GMT

Το IEEE Software Ιανουαρίου/Φεβρουαρίου 2011 έχει ως κύριο θέμα Parallelism on the Desktop. Συνοπτικότατα, στους server είναι σχετικά εύκολο να εκμεταλλευτείς πολλαπλούς επεξεργαστές - απλά αναθέτεις τα νέα requests σε όποιο core είναι ελεύθερο. Στο desktop όμως πρέπει να πάρεις κώδικα, πολύ κώδικα, ο οποίος γράφτηκε για σύγχρονη/σειριακή επεξεργασία και να τον αλλάξεις ώστε να δουλεύει παράλληλα. Το τεύχος περιέχει άρθρα από μηχανικούς και επιστήμονες της Intel, Microsoft και ακαδημαϊκούς για διάφορα από τα καλούδια που βλέπουμε να έρχονται σιγά-σιγά.

Απ: C# Parallel and VS 2010

Παναγιώτης Καναβός — Tue, 22 Feb 2011 04:36:58 GMT

Μέχρι στιγμής υπάρχουν περίπου 0 ερωτήσεις για παράλληλη επεξεργασία, threading και TPL. Αν ξεκινήσουμε με ένα άδειο forum μάλλον θα αποθαρρύνουμε όσους ενδιαφέρονται. Και αν θέλεις να συζητήσεις για parallel, γιατί δεν το κάνεις? Χμμμ? Εεε?? Θα είναι ευκολότερο να ξεκινήσουμε μερικά threads και μετά να τα μεταφέρουμε, παρά να ξεκινήσουμε με άδειο forum.

Άσε που ο αδμην μας είναι λίγο βαρύς όταν του ζητάς άδεια φόρουμ!

Στα links να προσθέσω το blog του Parallel Team http://blogs.msdn.com/b/pfxteam/v , τη συνέντευξη ReactiveUI Extensions στο Hanselminutes, η συνέντευξη του Stephen Toub στο DotNetRocks, και το video του Stephen Toub στο Channel 9 για TPL Dataflow

C# Parallel and VS 2010

Bill — Tue, 22 Feb 2011 03:57:27 GMT

Προς τους insiders του dotnetzone μήπως να γινόταν ένα ξεχωριστώ category για θέματα Parallel C# και γενικά multi-core programming ? Ώστε ότι ερωτήσεις έχουμε σχετικές με parallel να τις κάνουμε εκεί .

Ένα καλό url http://www.albahari.com/threading/

Thanks ...