Συνάδελφοι, καλησπέρα.
Ενδιαφέρομαι να κάνω text search σε MSSQL 2000 για ελληνικά αρχεία.
Μπορεί να γίνει αυτό με την λειτουργία Full Text Search της MSSQL 2000 και αν ναι, χρειάζονται ιδιαίτερες ρυθμίσες;
Διάβασα προηγούμενα σχετικά topics στο forum, αλλά δεν κατάφερα να καταλήξω κάπου.
Ευχαριστώ.

Δυστυχώς, δεν έχει κάπου να καταλήξεις. Η απάντηση είναι όχι μεν αλλά. Κάποιος, κάπου, τον οποίο δεν ξέρουμε, έχει φτιάξει τα κατάλληλα φίλτρα για να υποστηριχθεί FTS για τα ελληνικά. Ουσιαστικά αυτό που χρειάζεται είναι να υλοποιήσει κάποιος τα κατάλληλα interfaces για το stemming, την αποκοπή δηλαδή από κάθε λέξη το προθεμάτων και των καταλήξεων. Αυτός ο κάποιος όμως δεν τα έχει βγάλει προς τα έξω, ώστε να μπορούμε κι εμείς να τα αγοράσουμε. Μένει μόνο όποιος έχει όρεξη να φτιάξει τα δικά του φίλτρα για το stemming.

Αν ακούει κανείς από τη Microsoft? Θα είχε ενδιαφέρον να μάθουμε σε ποιά φάση βρίσκεται η ιστορία του FTS. Και του Voice Recognition.

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

Από ότι θυμάμαι, αναζήτηση στην ελληνική γλώσσα μπορείς να κάνεις αν δηλώσεις ότι το FTS γίνεται σε neutral γλώσσα στην ώρα που θα ορίσεις το κατάλογο που θα βάζει τα αρχεία του indexing. Από μέσα από τον Enterprise Manager δεν μπορείς, να το κάνεις θα πρέπει να το κάνεις από τον query analyzer. Αυτό είναι μακριά από την φυσική αναζήτηση, μιας και δεν μπορεί να κάνει συλλαβισμό (stemming) για να βγάλει παρόμοιες λέξεις.

Όσο για το stemming, υπάρχει ένα release από την Microsoft για τον SharePoint Portal Server 2003 - δεδομένου ότι το search engine για τον SQL 2000/SharePoint 2003/Exchange 2003/Index server είναι σχεδόν το ίδιο με μικρές αλλαγές (δεν ξέρω ακόμα τι γίνεται με τον SQL 2005 και την επερχόμενη σειρά των προιόντων του Office 2007) ίσως μπορεί να γίνει δουλειά με το χέρι... Πάντως το μέσο πίεσης θα πρέπει να είναι η αναζήτηση των Windows SharePoint Services που χρησιμοποιεί το FTS του SQL 2005 - αν πιεστούν να φτιάξουν αυτό, ουσιαστικά θα φτιάξουν το FTS στον SQL 2005.

 

George J.

---

George J. Capnias: Χειροπρακτικός Υπολογιστών, Ύψιστος Γκουράρχης της Κουμπουτερολογίας w: capnias.org, t: @gcapnias, l: gr.linkedin.com/in/gcapnias

Δηλ. αν τελικά δεν έχω τη δυνατότητα για ακριβή αναζήτηση σε φυσική γλώσσα
οι δυνατότητες περιορίζονται μόνο στην τυπική αναζήτηση της ακριβής λέξης μέσα στο κείμενο;

ευχαριστώ και πάλι...

Δυστυχώς, έτσι είναι. Η διαφορά σε σχέση με το απλό LIKE είναι ότι το FTS επιταχύνει την αναζήτηση της λέξης σε οποιαδήποτε θέση στο κείμενο, ενώ το LIKE μπορεί να εκμεταλλευτεί τα indexes μόνο όταν η λέξη βρίσκεται στην αρχή του κειμένου.

---

Παναγιώτης Καναβός, Freelancer
Twitter: http://www.twitter.com/pkanavos

pkanavos wrote:

Αν ακούει κανείς από τη Microsoft? Θα είχε ενδιαφέρον να μάθουμε σε ποιά φάση βρίσκεται η ιστορία του FTS. Και του Voice Recognition.

Και της υποστήριξης σε Tablet PC, τόσο στο handwriting recognition όσο και σε άλλα εργαλεία (π.χ. MyFont).

---

Νατάσα Μανουσοπούλου

Είχα γράψει καποια στιγμή ένα Stemmer για την ελληνική γλώσσα (σχετικά αργό μεν αλλα λειτουργικό) σε C#. Mου βάλατε ιδέες να δω πως μπορώ να το ενσωματώσω στον SQL2005... Ξέρει κανείς ποια είναι τα ΑΡΙ που πρέπει να υλοποιηθούν για να μην ψάχνω?

Συνέδελφοι επανέρχομαι στο θέμα για βοήθεια και θέλω να ρωτήσω τα εξής:

Εφόσον δεν μπορώ να κάνω φυσική αναζήτηση (με steeming) σε ελληνικά σε SQL 2000, είναι απαραίτητο να έχω εγκατεστημένο το FullText Search ή όχι και γιατί;

Ρωτάω επειδή η εγκατάστασή μου είναι σε XP, όπου (δεν το γνώριζα) δεν είναι εφικτή η λειτουργία του FullText Search και αναρωτιέμαι εάν κάνω άδικο κόπο να το γυρίσω σε Server 2000.

Ευχαριστώ και πάλι.

Από ότι θυμάμαι η εγκατάσταση κάποιου από τα features εξαρτάται από την έκδοση του SQL 2000 και στην συνέχεια του λειτουργικού. Πχ το Full Text search θέλει SQL Server Standard ή Enterprise, που τρέχουν σε server λειτουργικό. Από την άλλη, η Developer έκδοση, που έχει όλα τα χαρακτηριστικά της Enterprise έκδοσης, μπορεί να εγκατασταθεί σε Windows XP χωρίς κάποιο πρόβλημα. Ο μόνος περιορισμός είναι ότι αυτή η έκδοση δεν πρέπει να τρέχει σε production περιβάλλον, και δεν επιτρέπει πάνω από 5 ταυτόχρονους χρήστες...

 

George J.

---

George J. Capnias: Χειροπρακτικός Υπολογιστών, Ύψιστος Γκουράρχης της Κουμπουτερολογίας w: capnias.org, t: @gcapnias, l: gr.linkedin.com/in/gcapnias

gcapnias wrote:

Από ότι θυμάμαι, αναζήτηση στην ελληνική γλώσσα μπορείς να κάνεις αν δηλώσεις ότι το FTS γίνεται σε neutral γλώσσα στην ώρα που θα ορίσεις το κατάλογο που θα βάζει τα αρχεία του indexing. Από μέσα από τον Enterprise Manager δεν μπορείς, να το κάνεις θα πρέπει να το κάνεις από τον query analyzer. Αυτό είναι μακριά από την φυσική αναζήτηση, μιας και δεν μπορεί να κάνει συλλαβισμό (stemming) για να βγάλει παρόμοιες λέξεις. Όσο για το stemming, υπάρχει ένα release από την Microsoft για τον SharePoint Portal Server 2003 - δεδομένου ότι το search engine για τον SQL 2000/SharePoint 2003/Exchange 2003/Index server είναι σχεδόν το ίδιο με μικρές αλλαγές (δεν ξέρω ακόμα τι γίνεται με τον SQL 2005 και την επερχόμενη σειρά των προιόντων του Office 2007) ίσως μπορεί να γίνει δουλειά με το χέρι... Πάντως το μέσο πίεσης θα πρέπει να είναι η αναζήτηση των Windows SharePoint Services που χρησιμοποιεί το FTS του SQL 2005 - αν πιεστούν να φτιάξουν αυτό, ουσιαστικά θα φτιάξουν το FTS στον SQL 2005.   George J.

Επανέρχομαι στο θέμα μιας και χρειάστηκε να ασχοληθώ. Δοκίμασα λοιπόν με τις οδηγίες του άρθρου (αναφέρει το παράδειγμα για την αραβική γλώσσα): SQL Server Full Text Search: Language Features . Τα αρχεία για το ελληνικό steeming και word break τα πήρα από το update SharePoint Portal Server 2003 Word Breaker Update. Μετέφερα manual τα αρχεία που περιγράφονται σε μια εγκατάσταση SQL Server 2005 και έκανα τις κατάλληλες τροποποιήσεις στο registry.
Δυστυχώς όταν επιλέγω Greek σαν language για το word break μετά από query της μορφής :

SELECT *
FROM FREETEXTTABLE(servole, fmemo, 'και') AS FT_TBL

επιστρέφει :
The execution of a full-text query failed. "No such interface supported"
 
Άρα είτε τα αρχεία δεν μπορούν να «παίξουν» σε SQL Server 2005 είτε κάτι λάθος έχω κάνει εγώ. Υπάρχει κάποιος έχει ασχοληθεί και έχει κάποιο αποτέλεσμα; κάθε συμβουλή ευπρόσδεκτη.

PS. Τα αρχεία τα έχει φτιάξει το CTI στην Πάτρα για λογαριασμό της Microsoft, και φυσικά καταλαβαίνω ότι η όλη διαδικασία είναι unsupported.">

---

Nikos Κ.
ALT.NET