Visual C++ 6.0 / .NET (unmanaged)

Απ: WriteFile & Threads

mixio — Tue, 03 Mar 2009 02:20:14 GMT

Λυθηκε με Overlapped I/O.

Βεβαια τωρα ανοιξαν αλλα θεματα.
Οταν ειναι να περασει ενα IP πακετο με μεγεθος μεγαλυτερου απο το MTU της συσκευης συμβαινει IP fragmentation. Ετσι το wireshark θα δειξει δυο ip packets/fragments.
Το προβλημα ειναι οτι η εφαρμογη μου διαβαζει μονο το 1ο frag. Το 2ο το χανει αλλα ξερω οτι υπηρξε αφου το βλεπω στο wireshark.

Απ: WriteFile & Threads

mixio — Sat, 28 Feb 2009 05:59:35 GMT

Κατι νεο που βρηκα απο το http://gmitweb.gmit.ie/pdunne/opsys/labs/lab12/SerialCommsinWin32-Microsoft.pdf

Nonoverlapped I/O

If one thread is blocked waiting for its I/O operation to complete, all other threads that
subsequently call a communications API will be blocked until the original operation completes.
For instance, if one thread were waiting for a ReadFile function to return, any other thread that issued a WriteFile function
would be blocked.

Οι δυο τελευταιες σειρες ειναι ακριβως αυτο που συμβαινει σε μενα. Περιμενω την ReadFile() να τελιωσει. Επειτα ξεκιναει ο timer να εκτελει τις WriteLine().
Oση ωρα δεν υπαρχει κατι νεο να διαβαστει οι WriteLine() μπλοκαρονται. Μολις υπαρξει κατι για διαβασμα ( δηλαδη να τελιωσει η ReadFile() ) αμεσως τρεχουν και οι υπολοιπες WriteLine που κληθηκαν απο το αλλο thread. Οποτε δεν ειναι θεμα των διαφορετικων thread που γραφουν στο ιδιο handle. Ειναι οτι χρησιμοποιω Nonoverlapped I/O το οποιο ετσι ειναι φτιαγμενο.

Παραθετω το κομματι κωδικα. O write_timer ειναι αυτος που θα καλεσει τις WriteLine. Μολις τελιωσει ενα ReadLine θα ξεκινησουν τα WriteLine αλλα επειδη αμεσως θα κληθει ξανα η ReadLine θα μπλοκαρουν οι WriteLine μεχρι να γινει κατι και ερθουν data για διαβασμα.

while (true)
{
if (Kernel32.ReadFile(tun.getTunHandle(), BufBytes, BufBytes.Length, out BytesRead, IntPtr.Zero))
{
write_timer.Stop();

// Before we copy the actual IP Datagram to OutBytes
// we have to add the linux TUN header [0x0 0x0 0x8 0x0]
byte[] OutBytes = new byte[BytesRead + 4];
OutBytes[0] = 0x0;
OutBytes[1] = 0x0;
OutBytes[2] = 0x8;
OutBytes[3] = 0x0;

// Copy the actual IP Datagram to OutBytes
Array.Copy(BufBytes, 0, OutBytes, 4, BytesRead);

// Send it for dns manipulation
ManipulateTunPacket(OutBytes);

write_timer.Start();
}

}

Επειδη δεν θελω να παω σε Οverlapped I/O εχει κανεις καμια ιδεα για το πως αλλιως θα μπορουσα να το κανω;
Δηλαδη πως θα μπορουσα να ξεμπλοκαρω την ReadLine. Θα μου πεις στειλε λιγα data για διαβασμα... Ε, ειναι λιγο τσομπανικο.

Απ: WriteFile & Threads

Markos — Fri, 27 Feb 2009 08:17:15 GMT

Όχι. Απλά μου πέρασε από το μυαλό μήπως στις κλήσεις των μεθόδων γινόταν κάποιο μπλέξιμο με τις μεταβλητές. Μάλλον ψάξου προς την κατεύθυνση που λέει ο Παναγιώτης.

Απ: WriteFile & Threads

mixio — Fri, 27 Feb 2009 08:00:38 GMT

Markos:
OK. Απλά μου πέρασε από το μυαλό μήπως ορίζει κάποιες static μεταβλητές που του δημιουργούν πρόβλημα. Γι' αυτό του είπα να τα βάλει σε μία κλάση. Βλέπεις, δε δίνει όλο τον κώδικα.

Ο timer ειναι στατικ αφου ειναι και η main και αρχικοποιειται μεσα σ'αυτην. Παιζει ρολο;

Απ: WriteFile & Threads

mixio — Fri, 27 Feb 2009 07:33:19 GMT

Παιδια εχω δοκιμασει αυτα που λετε εδω και καιρο αλλα τζιφος.

Παναγιώτης Καναβός:
Μου ήρθε μία φλασιά. mixio, μήπως όλα τα threads προσπαθούν να γράψουν χρησιμοποιώντας το ίδιο handle? Μήπως η συσκευή που χρησιμοποιείς δεν επιτρέπει σε πολλά thread να γράψουν ή να την ανοίξουν ταυτόχρονα? Το ότι άνοιξες τη συσκευή με FILE_SHARE_WRITE δεν σημαίνει ότι δέχεται κιόλας να την ανοίξουν ή να γράψουν πολλοί ταυτόχρονα σε αυτή.

Ναι Πανο. Ειναι ενα global handle και ολα τα threads γραφουν σε αυτο (οχι παραλληλα). Πες μου οτι δεν ειναι σωστο;
Πως να ξερω αν η συσκευη επιτρεπει ή οχι πολλα νηματα να γραφουν;
Για να εξηγησω τι ειναι αυτη η συσκευη........ Ειναι μια εικονικη συσκευη που την δημιουργει ο Tap Driver του OpenVPN Project.
Η χρηση της ειναι να μιλαει με userspace για να υλοποιειται οποιοδηποτε ειδος tunneling. Ολα αυτα τα VPN και λοιπα που ακουτε καθε μερα χρησιμοποιουν μια τετοια συσκευη.

Απ: WriteFile & Threads

Markos — Fri, 27 Feb 2009 03:16:06 GMT

OK. Απλά μου πέρασε από το μυαλό μήπως ορίζει κάποιες static μεταβλητές που του δημιουργούν πρόβλημα. Γι' αυτό του είπα να τα βάλει σε μία κλάση. Βλέπεις, δε δίνει όλο τον κώδικα.

Απ: WriteFile & Threads

Παναγιώτης Καναβός — Fri, 27 Feb 2009 03:04:41 GMT

Και στην Main να τον αφήσει, πάλι θα παίξει ο κώδικας. Δεν έχει σημασία σε ποιά κλάση είναι ο timer. Και ο παρακάτω κώδικας παίζει, χωρίς πρόβλημα:

class Program
{

static void Main(string[] args)
{
System.Timers.Timer myTimer = new System.Timers.Timer();
myTimer.Interval = 100;
myTimer.Elapsed += new ElapsedEventHandler(myTimer_Elapsed);
myTimer.Start();
Thread.Sleep(1000);
}

static void myTimer_Elapsed(object sender, ElapsedEventArgs e)
{
Console.WriteLine(e.SignalTime.ToString());
}
}

..........

Μου ήρθε μία φλασιά. mixio, μήπως όλα τα threads προσπαθούν να γράψουν χρησιμοποιώντας το ίδιο handle? Μήπως η συσκευή που χρησιμοποιείς δεν επιτρέπει σε πολλά thread να γράψουν ή να την ανοίξουν ταυτόχρονα? Το ότι άνοιξες τη συσκευή με FILE_SHARE_WRITE δεν σημαίνει ότι δέχεται κιόλας να την ανοίξουν ή να γράψουν πολλοί ταυτόχρονα σε αυτή.

Απ: WriteFile & Threads

Markos — Fri, 27 Feb 2009 02:40:26 GMT

Μη δημιυργήσεις τον Timer μέσα στη Main() αλλά σε ξεχωριστή κλάση, κάπως έτσι:

using System;
using System.Collections.Generic;
using System.Text;
using System.Timers;

namespace TimerExample
{
   class Program
   {
      static void Main(string[] args)
      {
         Timming timming = new Timming();
         //
         Console.ReadLine();
      }
   }

   class Timming
   {
      Timer timer = new Timer();
      int iter = 0;
      //
      public Timming()
      {
         this.timer.Interval = 1000;
         this.timer.Enabled = true;
         this.timer.Elapsed += new ElapsedEventHandler(timer_Elapsed);
      }

      void timer_Elapsed(object sender, ElapsedEventArgs e)
      {
         iter++;
         Console.WriteLine("Iterations: " + iter.ToString());
      }

   }
}

Δοκίμασέ το και πες μας αν λειτούργησε.

Απ: WriteFile & Threads

mixio — Fri, 27 Feb 2009 01:48:09 GMT

Markos δεν ειμαι σε GUI. Απλη console ειναι η εφαρμογη.

Απ: WriteFile & Threads

Markos — Fri, 27 Feb 2009 00:53:48 GMT

Η αλήθεια είναι ότι δε χρησιμοποιώ Timers, δεν μου έχουν χρειαστεί δηλαδή μέχρι τώρα. Είσαι σίγουρος ότι έχεις διαβάσει σωστά την τεκμηρίωση της Timer Class; Καλείς την Timer_Elapsed μέσα από visual component; Αν ναι, έχεις θέσει το SynchronizingObject; Αντιγράφω από το documentation:

When the Elapsed event is handled by a visual Windows Forms component, such as a button, accessing the component through the system-thread pool might result in an exception or just might not work. Avoid this effect by setting SynchronizingObject to a Windows Forms component, which causes the method that handles the Elapsed event to be called on the same thread that the component was created on.

Απ: WriteFile & Threads

mixio — Fri, 27 Feb 2009 00:18:08 GMT

Χρησιμοποιω τον System.Timers.Timer() με
timer.Elapsed += new ElapsedEventHandler(ping_elapsed);
timer.Interval = 1000;
timer.Start();
Μεσα στην ping_elapsed() εχω την WriteFile() και πριν απο την WriteFile() τυπωνω ενα μηνυμα για να δω μεχρι που εφτασε η ροη. Δεν ειδα σε debugger τιποτα.

Την WriteFile την εχω μελετησει μια χαρα γι'αυτο αλλωστε ολη εφαρμογη δουλευει μεχρι τωρα. Στις αρχες μονο ειχα κατι προβληματα γιατι ανοιγα την συσκευη σε overlapped mode. Την GetLastError() την γνωριζω αλλα δεν την χρησιμοποιω γιατι πιστευω οτι δεν θα βγει κατι απο 'κει. Εννοειτε πως το προβλημα ειναι στον κωδικα και οχι στο OS. Δεν υπαρχει θεμα γι'αυτο. Ενταξει πρωτη φορα ασχοληθηκα στα βαθια με windows API λογικο δεν ειναι να πελαγοδρομισω;

Μια που ειπες οτι υπαρχουν και αλλοι timers θα τους βρω και 8α τους δοκιμασω.
Τι αλλες πληροφοριες θα σου ηταν χρησιμες; επειδη λες οτι περιγραφω αποσπασματικα. Θα δω και στον debugger τιποτα.

Ευχαριστω.

Απ: WriteFile & Threads

Παναγιώτης Καναβός — Thu, 26 Feb 2009 22:39:38 GMT

Είσαι σίγουρος ότι ο timer εκτελείται όπως νομίζεις? Υπάρχουν 3 διαφορετικοί timers, με διαφορετκή συμπεριφορά. Ποιόν χρησιμοποιείς εσύ? Πως τον καλείς? Γιατί πιστεύεις ότι η WriteFile δεν εκτελείται? Το είδες στον Debugger ή θεωρείς ότι επειδή δεν είδες αμέσως τα αποτελέσματα της Console.WriteLine δεν έτρεξε και ο κώδικας?

mixio, μπλέκεις πάρα πολλά πράγματα μαζί με αποτέλεσμα να πελαγοδρομείς. Δεν γίνεται να γράψεις κώδικα, ειδικά για διπλωματική, αντιγράφοντας ένα code snippet και παλεύοντας να το κάνεις να δουλέψει. Επίσης, μας λες τί συμβαίνει αποσπασματικά, με αποτέλεσμα να μην μπορεί κανείς να καταλάβει τί συμβαίνει.

Για παράδειγμα, ΟΛΕΣ οι παράμετροι της WriteFile είναι pointers. Αν δεν καταλαβαίνεις τί είναι αυτές οι παράμετροι, δύσκολα θα κάνεις και την WriteFile να δουλέψει. Αν κοίταζες το documentation της WriteFile θα έβλεπες ότι περιέχει παραδείγματα πως να την καλέσεις και πως να δεις τί λάθος συμβαίνει με την GetLastError().

Άλλο παράδειγμα, μετά από τόσα posts αναφέρεις ότι χρησιμοποιείς κάποιο timer, αλλά πρέπει από την ναφορά στο Timer_Elapsed να καταλάβω ότι μάλλον μιλάς για τον System.Timers.Timer.

Όταν αντιμετωπίζεις πρόβλημα θα πρέπει να το σπάσεις σε κομμάτια. Καταρχήν, αναντιμετωπίζεις περίεργη μπεριφορά, κατά κανόνα το πρόβλημα βρίσκεται στον κώδικα σου και όχι στο λειτουργικό (η WriteFile είναι τμήμα του λειτουργικού). Πιστεύεις ότι έχει πρόβλημα ή WriteFile? Απομόνωσε τη σε ένα ανεξάρτητο πρόγραμμα ή μέθοδο, και δοκίμασε αυτή και μόνο. Νομίζεις ότι έχει πρόβλημα ο Timer? Φτιάξε ένα άλλο πρόγραμμα, μόνο με τον timer, και δες πως δουλεύει μέσα από το debugger.

Το άλλο σημαντικό που πρέπει να κάνεις, είναι το RTFM. Όταν ασχολείσαι με κάποιο API ή function που δεν έχεις ξαναχρησιμοποιήσει, το RTFM ΔΕΝ είναι προαιρετικό. Ειδικά για το Windows API, το documentation έχει κοσκινιστεί εδώ και 10 χρόνια, με αποτέλεσμα να έχει πολύ καλή δομή, τόσο στις επεξηγήσεις όσο και στα παραδείγματα. Εκεί θα βρεις σχεδόν ό,τι χρειάζεσαι.

Απ: WriteFile & Threads

mixio — Thu, 26 Feb 2009 20:12:37 GMT

Λοιπον βρηκα μια αλλη πληροφορια που ισως βοηθησει.

Οταν τερματιζεται η εφαρμογη ολα WriteLine() που δεν εκτελεσθηκαν απο τα timer_elapsed που γιναν καθ'ολη την διαρκεια,
εκτελουνται ολα μαζι στο τελος με αποτελεσμα να βλεπω στην κονσολα μαζεμενα
"Written: x bytes"
"Written: y bytes"
"Written: z bytes"
...

Καποιος; Κερναω μπυρες σε οποιον συνδραμει

Απ: WriteFile & Threads

mixio — Thu, 26 Feb 2009 04:08:01 GMT

Καμια βοηθεια ρε παιδες;

Απ: WriteFile & Threads

mixio — Wed, 25 Feb 2009 07:06:31 GMT

Παναγιώτης Καναβός:
Άρα όντως μιλάς για την WriteFile του Kernel. Μιλάς δηλαδή για unmanaged κώδικα. Γενικά, καλό είναι οι ερωτήσεις να γίνονται στα κατάλληλα forum, διαφορετικά δημιουργείται σύγχιση. Στην περίπτωση σου για παράδειγμα, το λογικότερο θα ήταν να υποθέσει κάποιος ότι αφού γράφεις στο .NET Framework forum, αναφέρεσαι σε κάποια μέθοδο κάποιας κλάσης του .NET, π.χ. της HttpResponse.WriteFile.

Όσον αφορά τη WriteFile και το main thread, είναι απολύτως βέβαιο ότι δουλεύει από οποιοδήποτε thread. Το multi-threading δεν είναι ανακάλυψη του .NET Framework. Υπάρχουν χιλιάδες unmanaged εφαρμογές οι οποίες χρησιμοποιούν multithreading και χρησιμοποιούν την WriteFile από διαφορετικά threads. Μάλιστα, η εκτέλεση του I/O σε ξεχωριστά threads είναι μία από τις βασικότερες τεχνικές για να βελτιώσεις την απόδοση μίας εφαρμογής.

Το πρόβλημα (το οποίο δεν αναφέρεις) βρίσκεται σίγουρα στον δικό σου κώδικα. Τί εννοείς "δεν λειτουργεί"? Τί συμβαίνει" Εμφανίζεται error? Επιστρέφει κάποιο Error Code? Ποιό είναι αυτό? Έχεις περάσει τους σωστούς pointers από το ένα thread στο άλλο?

Και γιατί τέλος πάντων, δεν χρησιμοποιείς τις I/O κλάσεις του .ΝΕΤ αλλά παίζεις με unmanaged κλήσεις μέσα σε managed κώδικα?

Οκ, μολις τελιωσει αυτο το thread ας το περασει καποιος moderator εκει που πρεπει. Ειλικρινα δεν γνωριζα αυτα που ειπες.

Τι να σου πω. Εκτελω το παρακατω απο εναν Timer που δημιουργησα στην Main()

            if (Kernel32.WriteFile(TunHandle, packet, packet.Length, out BytesWritten, IntPtr.Zero))
            {
                Console.WriteLine("Written: " + BytesWritten);
            }
            else
            {
                Console.WriteLine("WriteTun: Could not write on tun.");
            }

Δεν βγαζει κανενα απο τα δυο μηνυματα.
Τον ιδιο κωδικα αν τον τρεξω μεσα στην Main() δουλευει κανονικα.
Για τα errors που λες υπαρχει κατι που μπορω να προσθεσω στον κωδικα αυτον για να μου τυπωνει τα ενδεχομενα errors?
Γιατι αναφερεσαι σε pointers? Με μπερδευεις. Υπενθυμιζω οτι εχω ανοιξει το TunHandle σε non-overlapped mode.

Φιλε μου για το τελευταιο που ρωτησες δεν υπαρχει απαντηση. Δεν ξερω πως κατεφυγα σε unmanaged κλησεις που λες παντως θυμαμαι οταν χρησιμοποιουσα FileStream για I/O στο εικονικο device τιποτα δε επαιζε.
Ευχαριστω για το χρονο σου.

PS. θυμηθηκα γιατι μπηκα σε unmanged. Υπαρχει αυτο το thread http://www.dotnetzone.gr/cs/forums/thread/46385.aspx