Χαιρετώ την ομήγυρη.

Ψαχνώ εδώ και αρκετό καιρό ένα καλό εργαλείο για Advance Charts και Data Visualization. Όπως καταλαβαίνετε έχω ήδη φτάσει στο maximum τις δυνατότητες του Excel όσον αφορά τα Charts και ψάχνω για κάτι πιο advance. Θέλω να μπορώ να φτιάχνω πιο σύνθετα charts από αυτά που προσφέρει το excel με περισσότερες δυνατότητες μορφοποίησης.

To Κομμάτι του data analysis δεν με ενδιαφέρει τόσο πολύ διότι το καλύπτω με άλλα εργαλεία ή με custom κώδικα.  Το Data Visualization είναι αυτό που με απασχολεί.

Είδα κάποια Javascript Chart libraries αλλά δεν μου προσφέρουν αυτό ακριβώς που θέλω και χρειάζεται πολύ μαύρος κώδικας για να κάνεις και τα πιο απλά πράγματα. 

Επίσης κάποια add ins για excel που κυκλοφορούν στο Internet δεν μου γεμίζουν το μάτι. Αν κάποιος έχει να προσθέσει κάτι ευχαρίστως να το ακούσω.  

Αυτή τη στιγμη θα δοκιμάσω το http://www.tableau.com/products/desktop μήπως με βοηθήσει σε κάτι. Το έχει κανείς ακουστά.

Έχει η microsoft μήπως κάποιο τέτοιο εργαλείο?

 Κάθε input θα είναι more than welcome!!!

---

Manos

Εξάντλησες το Excel!! Και θες κάτι πιο προχωρημένο;! Μάλλον πρέπει να πας σε εξειδικευμένες βιβλιοθήκες στατιστικών πακέτων. Θα ξεκινούσα από τη Wolfram Research (εδώ κι εδώ).

 

---

Ακόμα κι ένας άνθρωπος μπορεί ν' αλλάξει τον κόσμο. Μη θέλεις να κυβερνήσεις. Απλά δείξε το μονοπάτι κι ο κόσμος θ' ακολουθήσει!!

Μάρκο σε ευχαριστώ για την απάντησή σου 

 

Για να μην παρεξηγηθώ εξάντλησα τις δυνατότητες των charting feature του excel. Όχι όλου του excel!!!! Κοιτάω τα Links που μου έστειλες αλλά θα προτιμούσα κάτι πιο focus στο data visualization. 

Η εμπειρία μου με στατιστικά πακέτα είναι ότι στέκουν περισσότερο στο data analysis και το visualization είναι σε δεύτερη μοίρα. Ας πούμε H R που έχω δουλέψει μπορώ να κάνω μία κατανομή σε 2 γραμμές κώδικα για ένα πολύπλοκο forecast αλλά τα διαγράμματα που βγάζει για να τα παρουσιάσω στο management είναι παιδικά. Αναγκαστικά  περνάω τα τελικά data στο excel για να κάνω κάποιες από τις ομορφιές που μου δίνει αλλά όπως είπα και πάνω έχω φτάσει ταβάνι και εκεί.  ουφ τα είπα και ξεθύμανα :)

---

Manos

Η R είναι πολύ καλή για ακαδημαϊκές έρευνες. Η WR καλύπτει και τους δύο τομείς (πανεπιστήμια και εταιρίες), χώρια ότι σου δίνει τη δυνατότητα και να έχεις όμορφα γραφικά, αλλά και ένα ολοκληρωμένο περιβάλλον στατιστικής και μαθηματικής ανάλυσης. Πιστεύω ότι τα χρειάζεσαι και τα δύο. Η WR δεν είναι, βέβαια, η μόνη επιλογή. Προσωπικά θα ξεκινούσα από εκεί επειδή είναι η πιο γνωστή και διαδεδομένη.

---

Ακόμα κι ένας άνθρωπος μπορεί ν' αλλάξει τον κόσμο. Μη θέλεις να κυβερνήσεις. Απλά δείξε το μονοπάτι κι ο κόσμος θ' ακολουθήσει!!

Για WR δεν έχω ξανακούσει ούτε και μπόρεσα να βρω κάτι googlάροντας για "WR statistics", "WR Visualization" ή στο Wikipedia.
Μήπως πρόκειται για κάποιο Windows distribution της R? Η περιγραφή (στατιστική, μαθηματική ανάλυση) είναι παρόμοια με την R.

Επιπλέον η R χρησιμοποιείται πολύ για number crunching στην παραγωγή, όχι μόνο για ακαδημαϊκές έρευνες. Παρέχεται ήδη ως
υπηρεσία από το Azure Machine Learningγια analytics, είναι ενσωματωμένη στην Oracle ως Enterprise R, και στον SQL Server 2016. 

Το καλύτερο ίσως R distribution είναι αυτό της Revolution Analytics, καθώς ακόμα και η Community Editionχρησιμοποιεί και multicore
και τις SIMD εντολές της CPU για να επιταχύνει ακόμα και 7 φορές την επεξεργασία. Επίσης επιτρέπει την επεξεργασία περισσότερων
δεδομένων από αυτά που χωράνε στη μνήμη, κάτι που η κλασσική R δεν μπορεί να κάνει.
Η εταιρεία αγοράστηκε πρόσφατα από τη Microsoft και έχει ενσωματωθεί σε Azure και SQL Server.

Όσον αφορά την ίδια την ερώτηση:

Καταρχήν, η ερώτηση καλύπτει σχεδόν το 1/3 του τομέα του data engineering/data science. Υπάρχουν πολλά σενάρια, πολλά
εργαλεία και πολλοί τρόποι να κάνει κάποιος αυτό που θέλει. Το οποίο σημαίνει, πρέπει πρώτα να ξεκαθαρίσεις τί θέλεις να κάνεις. 
Για τί είδους visualizations μιλάμε, πως θα χρησιμοποιηθούν και πως θα βγουν προς τα έξω (web ή image)? Χρειάζεται να είναι
interactive ή όχι? Άλλες δυνατότητες χρειάζονται για να φτιάξεις ένα Infographic και άλλες για να φτιάξεις ένα trellis plot.

To "μαύρο κώδικα" δεν τον γλυτώνεις αν θέλεις περίπλοκα πράγματα, ή interactivity.  Αντιθέτως, αν θέλεις να παράγεις καθημερινά
κάποια τυπικά plots, μπορείς να γλυτώσεις αρκετό κώδικα. Για παράδειγμα, ένα trellis plot σε R μπορείς να το κάνεις με σχετικά λίγες
εντολές και να αλλάζεις μόνο τα δεδομένα. 

Καταρχήν, στο ίδιο το Excel υπάρχει το Power BI το οποίο έχει *πολύ* δυνατά visualizations. Επίσης "παίζει" και στο Azure,
επιτρέποντας να επεξεργαστείς πολύ περισσότερα δεδομένα απ' ότι σε ένα μηχάνημα. Άσε που δεν χρειάζεται καν να μετακινήσεις
τα δεδομένα σου, αν η εταιρεία χρησιμοποιεί ήδη Azure. Τέλος, είναι *πολύ* ευκολότερο να μοιραστείς visualizations
με άλλους - απλά τα κάνεις publish στο Power BI του Azure.

Πρόσφατα βγήκε και το Power BI Desktop, οπότε μπορείς να το χρησιμοποιήσεις και ανεξάρτητα από το Excel. Αν ήθελες μία 
σύντομη περιγραφή, το Power BI είναι κάτι σαν το Tableau.

Η R χρησιμοποιείται πάρα πολύ για ad-hoc number crunching, στατιστικά, visualizations αν και θα τη βρεις "περίεργη" ως γλώσσα.
Είναι όμως μία από τις βασικές γλώσσες του data engineering, έχει πολύ μεγάλο community, υπάρχουν πολλά διαθέσιμα courses όπως 
το Data Science Specialization του Courser, βιβλία, άρθρα κλπ. Τον κώδικα πάντως δεν τον γλυτώνεις. 

Άλλο ένα εργαλείο είναι και το Tableau, το οποίο είναι διαθέσιμο και ως ανεξάρτητο desktop προϊόν αλλά και ως server. Θα μπορούσες
να πεις ότι είναι αντίστοιχο του Power BI. Και με τα δύο μπορείς να φτιάξεις πολύ πιο ενδιαφέροντα visualizations, να τα κάνεις interactive,
αλλά μην περιμένεις να κάνεις όλα όσα περίεργα θα δεις να γίνονται με την R.

Τέλος, αν θέλεις να φτιάξεις ένα visualization το οποίο θα βάλεις σε κάποιο public web site (δηλ δεν μπορείς να πληρώνεις άδειες ανά χρήστη)
μπορείς να χρησιμοποιήσεις javascript και την d3.js ή άλλες παρόμοιες βιβλιοθήκες. Προφανώς απαιτείται περισσότερος κώδικας, οπότε
καλύτερο είναι να ετοιμάσεις το visualization αλλού και μετά να το μετατρέψεις σε d3.

Για όλα αυτά θα βρεις πολλά βιβλία, κυρίως στον O'Reilly αλλά και στο Manning. Ψάξε για data science, data visualizations κλπ.

Και μην ξεχάσεις να βάλεις τα εκπτωτικά κουπόνια που έχουμε αν αγοράσεις κανένα βιβλίο από εκεί

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

Τί είδους visualization θέλεις να κάνεις? Έχει πολύ μεγάλη σημασία να ξεκαθαρίσεις τί θέλεις να κάνεις πρώτα, και μετά να δεις αν κάποιο εργαλείο σου επιτρέπει να το κάνεις.
Άσε που αυτό που θέλεις μπορεί να υπάρχει ήδη διαθέσιμο.

Μετά την τελευταία απάντηση, είδα ότι το Power BI Desktop είναι τσάμπα και έτσι το κατέβασα και άρχισα να κοιτάζω
τα visualizations που έχει. Είναι αρκετά εντυπωσιακά (π.χ. fill maps, treemaps όπως αυτά στο WinDirStat). 

Πρόσφατα έγινε και ο διαγωνισμός Power BI Visual Contest. Αν δεις τους νικητές, έχουν κάνει κάποια πολύ εντυπωσιακά visualizations: ειδικά το hexagon scatterplot 
είναι μία πολύ ενδιαφέρουσα παραλλαγή του κλασσικού scatterplot.

Όσον αφορά την R, μην απορρίπτεις ως παιδικά τα διαγράμματα που κάνει. Καταρχήν υπάρχουν διάφορα chart packages, ποιο χρησιμοποίησες? Δες για παράδειγμα 
το gallery του rCharts. Κάποιες δυνατότητες, όπως π.χ η δημιουργία lattice charts επιτρέπει να φτιάξεις ένα πολύ πιο ξεκάθαρο visualization. Μπορείς για παράδειγμα
να φτιάξεις ένα matrix 5x5 μικρότερων charts για να δείξεις ταυτόχρονα την επίδραση 25 διαφορετικών παραμέτρων. Ή να δείξεις την πορεία των πωλήσεων σε 25
διαφορετικές περιοχές. Το αποτέλεσμα μπορεί να μην είναι τόσο φαντεζί (συζητήσιμο) αλλά είναι πολύ ευκολότερο να δει ο άλλος τι συμβαίνει. 

Δες για παραδείγματα, τα Horizon Plots  ή το Calendar HeatMap  . Το μείγμα 64ων scatter plots και line charts σε αυτό το παράδειγμα, επίσης μπορεί να μην φαίνεται τόσο
ωραίο αλλά σου δείχνει *αμέσως* τις διαφορές μεταξύ διαφορετικών επιλογών

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

Υ.Γ. Με τόσο υλικό διαθέσιμο για visualizations, μήπως θα έπρεπε να κάνουμε και κανένα σχετικό event?

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

Καλημέρα στην ομήγυρη

Παναγιώτη όπως πάντα μου έδωσες πολύ feedback να δουλέψω. Ναι το Tableau Desktop είναι πολύ κοντά σε αυτό που θέλω. Θα τσεκάρω οπωσδήποτε και το Power BI Desktop.

Βασικά αυτή την στιγμή δεν ψάχνω ούτε για interactivity ούτε για web interface. Η βασική χρήση των Data Visualizations που παράγω πάνε σαν φωτογραφίες σε slides του PowerPoint. (οι λόγοι είναι μια πονεμένη ιστορία που ξεφεύγει το scope αυτού του thread!!!) 

Επίσης όπως σε κάθε μεγάλο μαγαζί τα Data είναι από πολλές διαφορετικές πηγές και μετά από πολύ προσωπική δουλειά και δημιουργία custom workflows σε πάνω από μια πλατφόρμα και πάνω από 2 γλώσσες προγραμματισμού μαζεύονται σε διάφορα excels ή access documents. Άρα αυτό που με ενδιαφέρει κυρίως είναι η παρουσίαση τους όχι μόνο για να είναι όμορφα στο μάτι αλλά με μια ματιά να μπορεί ο τελικός χρήστης να βγάλει γρήγορα συμπεράσματα και να πάρει valid αποφάσεις. To Data Visualization είναι από μόνο του επιστήμη τελικά και respect σε αυτούς που μπορούν να το κάνουν καλά. 

Είναι αστείο αλλά πολλές φορές ως developers έχουμε μεγάλο πρόβλημα να επικοινωνήσουμε την πληροφορία και συνήθως καταλήγουμε να θεωρούμε ότι ο απέναντι μας είναι άσχετο και business παλτό και δεν μπορεί να καταλάβει σύνθετες έννοιες. Αυτό που αρχίζω να αντιλαμβάνομαι με την εμπειρία σιγά σιγά είναι ότι αν μπορέσεις να στήσεις σωστά την απεικόνιση της πληροφορίας και πιο κατανοητός γίνεσαι και οι τελικές αποφάσεις που πρέπει να παρθούν είναι σχεδόν αυτονόητες πια και πολλές φορές διαφορετικό από την αίσθηση που είχες σαν developer.

---

Manos

Άν τα δεδομένα έχουν κάποια σχετικά σταθερή μορφή (είναι δηλαδή παρόμοια Excel και δεν αλλάζουν δραματικά κάθε φορά) μπορείς να φτιάξεις ένα data mart ΄
ή έστω να φτιάξεις κάποιους reporting πίνακες και να φορτώνεις εκεί τα δεδομένα με κάποιο ETL εργαλείο, όπως τα SSIS του SQL Server, το DataPump στο 
Amazon, το Data Factory στο Azure ή κάποια δικά σου προγράμματα. Το σημαντικό είναι να μπορείς να βάλεις τα δεδομένα σε μία βάση φτιαγμένη για reporting,
η οποία θα έχει ένα ή περισσότερα star schemas, ανάλογα με το τι είδους reports θέλεις να δημιουργήσεις. Μετά είναι πολύ εύκολο είτε σε σένα είτε στους business
χρήστες να φτιάξουν reports . Επιπλέον, κερδίζεις και σε ταχύτητα καθώς δεν χρειάζεται να ξαναφορτώσεις τα παλιά δεδομένα.
Ουσιαστικά, χάνεις λίγο σε ευελιξία στη μορφή των αρχείων για να κερδίσεις σε ευκολία δημιουργίας των report και ταχύτητα εκτέλεσης.

Αυτό που σου δίνουν το Power BI και το Tableau είναι να κάνεις αυτή τη δουλειά στη μνήμη. Έτσι μπορείς να χειριστείς αρχεία τα οποία αλλάζουν εντελώς από τη μία
περίπτωση  στην άλλη. Το αρνητικό όμως είναι ότι κάθε φορά θα πρέπει να ξαναφορτώνεις τα πάντα. Κερδίζεις σε ευελιξία αλλά μπορεί να χάσεις σε ταχύτητα.
Είναι αναντικατάστατα για ad-hoc ή διερευνητικό reporting, όταν δεν ξέρεις τί ακριβώς ψάχνεις, οπότε και δεν υπάρχει το κατάλληλο schema στη βάση.

Σημειωτέον, τόσο το Tableau όσο και το Power BI χρησιμοποιούν in-memory column databases, που σημαίνει ότι μπορούν να "μασήσουν" όσο data χωράει η μνήμη σου.

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

Λοιπόν αφού εξερεύνησα λίγο και τα 2 προϊόντα: Tableau όσο και το Power BI Desktop κατέληξα στα παρακάτω:

Το  Tableau είναι σαφώς πιο blackBox από τα δύο με πολύ μεγάλες δυνατότητες παραμετροποίησης και ένα μεγάλο καμβά visualization να διαλέξεις. Αν δεν θέλεις να γράψεις γραμμή κώδικά είναι το προτιμότερο. Όμως δεν παύει να είναι μια ακριβή λύση για μεγάλα βαλάντια. 

To  Power BI Desktop δεν σου προσφέρει σχεδόν τίποτα εκτός από τα βασικά graph του excel (αφού πιβοτάρεις βέβαια) και οι δυνατότητες μορφοποίησης των charts είναι non existent. Αλλά 

είναι δωρεάν

έχει custom visualizations που έχουν φτιάξει άλλοι χρήστες και ανεβάζουν στo site 

είναι πολύ καινούργιο και έχει συνέχεια αναβαθμίσεις και βάζουν συνέχεια new features.

και βασικά έχει developers tools για το VS2015 που μπορείς να φτιάξεις τα δικά σου. Αν λοιπόν είσαι developer νομίζω ότι καλό είναι να φας τα μούτρα σου στο Power BI Desktop και στα Dev Tools του. 

Αυτό θα κάνω εγώ πάντως.  

Ευχαριστώ για το χρόνο σας 

---

Manos