Θα το έκανα ως εξής.
Θα έπαιρνα όλες τις λίστες με τους αριθμούς και θα τις έκανα merge σε μία μεγάλη λίστα που να περιέχει όλα τα νούμερα από όλες τις λίστες. Μπορείς να χρησιμοποιήσεις την Function AddRange() για τον σκοπό αυτό.
Στην συνέχεια με LINQ θα έγραφα τον εξής κώδικα στην λίστα που ανέφερα προηγουμένως και ονομάζω για το παράδειγμα MergedList
Dim Grouped=MergedList.GroupBy(function(x) x)
For Each grp in Grouped
String.Format("Number {0} found {1} times.",grp.key,grp.count)
Next