Καλησπέρα και σε σένα,
Κατ'αρχάς πρέπει να κάνεις populate τα items του ComboBoxColumn κάπως έτσι :
DataGridViewComboBoxColumn col = DataGridView1.Columns("Column1");
col.Items.Add("Foo");
col.Items.Add("Bar");
Μετά, κάπου που θα έχεις κάτι σαν αυτό :
DataGridViewComboBoxCell c = new DataGridViewComboBoxCell();
c.Value = col.Items[ i ]; //το i θα το έχεις ορίσει ανάλογα τη τιμή της βάσης που λες ότι παίρνεις
Θα πρέπει να το δοκιμάσεις όμως, στην πράξη δεν το έχω κάνει (ακόμα)...