Η πραγματική σχιζοφρένεια είναι ότι αυτό που ζητάει ο m6s ΕΙΝΑΙ αυτό που ήδη συμβαίνει. Default είναι το Unicode και μάλιστα το UCS-2 (2-byte Unicode), εκτός και αν η εφαρμογή δεν υποστηρίζει Unicode, δηλ. έχει γίνει native compile με τα ANSI libraries και όχι με Unicode. Το codepage που χρησιμοποιούν οι non-Unicode εφαρμογές είναι απολύτως καθορισμένο, και είναι αυτό που ορίζεις στο system locale.

Μετά όμως, να μην μπορεί η κάθε εφαρμογή να χρησιμοποιεί το codepage που ζητάει ο χρήστης? Ε? Να μην το χρησιμοποιήσει? Ή αν ο προγραμματιστής λέει "εγώ θέλω ELOT-928" τί θα του πεις, ότι θα παίξει μόνο με το codepage στο locale? Κι έτσι καταλήγεις παρά τα default, διαφορετικές εφαρμογές καταλήγουν να χρησιμοποιούν διαφορετικά codepages.

Από την άλλη και ο darklynx έχει δίκιο, ειδικά για το Unicode. Για τις δυτικές χώρες το UTF8 είναι πιο λογικό από το UCS2 ενώ για εμάς το αντίθετο. Το notepade κάνει τα αδύνατα-δυνατά για να ανακαλύψει το encoding ενός text αρχείου, αλλά στο τέλος η κάθε εφαρμογή θα αποθηκεύσει εκεί που θέλει αυτή ή ζητάει ο χρήστης. Ακόμα και για το txt

m6s:

Πολλά "Like" στην απάντηση!, αλλά είναι pain in the...ονιονς. Κανά τερματικό σε utf-8 να κάνει replace τελείως όμως το cmd.exe δεν παίζει; Δηλαδή ever δεν υπήρξε τέτοια ανάγκη; φαντάσου αυτό query mysql από python σε τερματικό ansi...όλα τα λεφτά... ;-) :-)

Ώπα, εδώ δεν φταίνε τα Windows αλλά η MySQL η οποία χειρίζεται περίεργα τα unicode και τα θεωρεί απλά άλλο ένα codepage και μάλιστα καταλαβαίνει μόνο από UTF8 (τα περί δυτικών χωρών που λέγαμε. Τί να βάζουμε unicode support, ρίξε ένα utf8 να τελειώνουμε). Αν δεν βάλεις το σωστό codepage στο connection string της τα αποτελέσματα θα είναι κομμάτι περίεργα. Αν τώρα η python που χρησιμοποιείς νομίζει ότι παίρνει ansi strings αντί για unicode, πάλι θα έχεις πρόβλημα - και εδώ που τα λέμε, το default encoding της Python είνα ASCII ...

Μην κατηγορείς το λειτουργικό επειδή βάση και γλώσσα δεν παίζουν καλά με Unicode - ή μάλλον, θεωρούν ότι το Unicode είναι edge case. Κάτι μου λέει ότι η IronPython δεν θα είχε προβλήματα μετατροπών (εφόσον έχεις δώσει το UTF8 codepage στο MySQL connection string  )

m6s:

Παναγιώτη UCS-2 είναι το UTF-16 ;

Όχι ακριβώς, και εδώ είναι η τρέλα. Το UTF-16 είναι ... variable length και μπορεί να πιάσει 16 ή 32 bits. Το UCS2 είναι πάντα 16 bit κι έτσι δεν καλύπτει κάποιους χαρακτήρες πάνω από το 63488 (μάλλον είναι τα αρχαία πρωτοκινέζικα). Δες και το σχετικό στο Wikipedia.