Ειδήσεις του dotNETZone.gr

Re: Μα, θα αφήναμε ποτέ το Google?

George J. Capnias — Fri, 07 Jan 2005 08:38:22 GMT

Επεσα επάνω τους στο SQLJunkies.com, μπορεί να σε ανδιαφέρουν:

Part I: Testing a Full-Text Search Wordbreaker Using C#

Part II: Testing a Full-Text Search Stemmer in C#

Part III: Testing a Full-Text Search IFilter in C#

Re: Μα, θα αφήναμε ποτέ το Google?

Παναγιώτης Καναβός — Thu, 30 Dec 2004 09:34:04 GMT

Καλά, τόσα λίγα RSS feeds διαβάζεις? Αν θες πάντως να ακούς τα blog όταν είσαι στο δρόμο, να προτείνω τη νέα μόδα του podblogging. Το RSS περιέχει link σε mp3 αρχεία με την υπαγόρευση του άρθρου. Αν το υποστηρίζει ο reader σου, το κατεβάζει κατευθείαν στο iPod (εξ ού και pod-blogging) ή ότι άλλη συσκευή υποστηρίζει.

Όσο για τις ελληνικές προσπάθεις, δεν ξέρω γιατί δεν τις δοκίμασα ακόμα. Πριν από κανα-δύο χρόνια είχα δοκιμάσει τις Φωνητικές Εντολές της MLS και τις είχα πραγματικά συχαθεί. Μόνο και μόνο το ότι το copy protection απαιτούσε να υπάρχει το CD αχρήστευε την εφαρμογή. Έπειτα, χρησιμοποιούσε ένα top-level παράθυρο για επικοινωνία μεταξύ δύο process (καλά, που βρισκόμαστε στα Win 3.1?). Αν είχες άλλο top level παράθυρο, τέζα! Επίσης, δούλευε μόνο με ελληνικά μενού! Δεν συνεργαζόταν με το Speech API οπότε και δεν μπορούσε να αλλάξει από ελληνικά σε αγγλικά. Κλπ, κλπ. Πλήρωσα 50 € και τα έκλαιγα την επόμενη μέρα!

Ο Λογογράφος φαίνεται πολύ σοβαρότερη προσπάθεια, αλλά απ' όσο θυμάμαι, στην πρώτη έκδοση ήταν ολόκληρη εφαρμογή word processing. Πάλι δεν υποστήριζε το Speech API. Αν θέλω να υπαγορεύσω κείμενο που περιέχει και αγγλικά τί θα κάνω? Είναι πολύ καλό όμως ότι έβγαλε ειδικές εκδόσεις για γιατρούς και δικηγόρους, τις πιο βασικές κατηγορίες πελατών για υπαγόρευση. Και τους μόνους που μπορούν να πληρώσουν τα 200 € που κοστίζει!

Re: Μα, θα αφήναμε ποτέ το Google?

George J. Capnias — Thu, 30 Dec 2004 09:16:55 GMT

Το MSDN γράφει ότι είναι στο SDK με ανανέωση/release Φεβρουάριος 2003. Αρα μάλλον τότε προστέθηκαν.

Μην αγχώνεσαι για την αναγνώρηση φωνής: Αφού άρχισαν να βγαίνουν τα πρώτα ελληνικά προιόντα είναι σίγουρο ότι όπου να είναι ετοιμάζεται και για την Microsoft το ελληνικό πακέτο. Αλλά μην χαίρεσαι και τόσο. Τα αποτελέσματα δεν είναι ποτέ 100%, και δεν έχουμε όλοι την ορθοφωνία που χρειάζεται... Βασικά θα προτιμούσα το Text-To-Speech για να μου διαβάζει τα RSS...

G.J.

Re: Μα, θα αφήναμε ποτέ το Google?

Παναγιώτης Καναβός — Thu, 30 Dec 2004 08:41:48 GMT

Όλα αυτά τα θυμάμαι, και μάλιστα το ελληνικό stemming είναι μια από τις μόνιμες γκρίνιες μου στα σεμινάρια της Microsoft τα τελευταία 3 ή 4 χρόνια, μαζί με την ελληνική αναγνώριση φωνής. Μάλιστα κάποια στιγμή είχα αρχίσει να ψάχνω μόνος μου να βρω το API του stemming και διαπίστωσα ότι το dll που έκανε τη δουλειά ... δεν περιείχε type library! Θεώρησα φυσικά ότι η Microsoft δεν πρόκειται να βγάλει το API παραέξω οπότε και παράτησα την προσπάθεια.

Φαντάσου τώρα την έκπληξή μου όταν βρήκα μέσα στο MSDN το API! Δεν ξέρω πότε προστέθηκε, απλά ότι τώρα υπάρχει.

Όσο για άρθρο, δεν βρήκα κάποιο συγκεκριμμένο. Μόνο τα links που παραθέτω. Αν ενδιαφέρεσαι για το stemming, οι σελίδες είναι :

About Language Resources. Περιγράφει όλη τη διαδικασία, μαζί και το stemming.
Implementing a Stemmer. Περιγράφει πως να φτιάξεις ένα stemmer.
Επίσης, το Platform SDK περιέχει και ένα sample με ένα custom stemmer.

Re: Μα, θα αφήναμε ποτέ το Google?

George J. Capnias — Thu, 30 Dec 2004 07:58:00 GMT

Μάλιστα... Άκου και όσα δεν έχεις δει ακόμα, και μπορεί να βρεις μπροστά σου αφού το πήρες τόσο ζεστά:

Αυτή η μηχανή - Microsoft Search Engine - Υπάρχει από πολύ παλιά από τον καιρό των Windows NT 4, του Option Pack, του IIS 4 και του Site Server 3. Η έκδοση που έγινε γνωστή είναι αυτή που ήρθε με τα Windows 2000. H έκδοση 4 του Index Service που χρησιμοποιήθηκε για από τα Windows 2000. Στη συνέχεια την έκδοση 4.1 χρησιμοποιεί ο SQL Server 2000 της Microsoft για το Full Text Search Service του. Ποιο καινούργια έκδοση έχει από ο Exchange Server 2000 την 4.2 - Ναι και ο Exchange χρησιμοποιεί την ίδια μηχανή!

Η Full έκδοση του Service χρησιμοποιείται από τον Sharepoint Server - απόγονος του Site Server - με τον Gatherer και τον Indexer να μπορούν να είναι server αυτόνομοι και να έχουν το μόνο το role αυτό. Μετά το Service Pack 1, ο Exchange Server 2000 είχε πιο καινούργια έκδοση από τον Sharepoint Portal Server 2001 που βγήκε εκείνο τον καιρό και δεν μπορούσαν να είναι στο ίδιο server, ενώ στην αρχή, πριν το Service Pack μπορούσαν να είναι.

Crawling μπορεί να γίνει και σε web sites και σε στατικό περιεχόμενο. Σε στατικό περιεχόμενο μπορεί να γίνει "εκ γενεί" χωρίς πρόσθεση έξτρα software, στα αρχεία του Office - ένας από τους λόγους που φέρουν όλα αυτά τα "κακά" metadata - τις html σελίδες και σε tiff αρχεία με οπτική αναγνώριση. Το Service υποστηρίζει και λίστες με λέξεις που δεν θα λαμβάνονται υπ’ όψει όταν γίνεται η σύνταξη του καταλόγου των λέξεων κλειδιών. Υπάρχει και ένα COM Interface που μπορεί να γίνει implement και να δημιουργηθούν νέα φίλτρα για το Search Engine. Είναι το Inteface IFilter που πρώτη το έκανε implement η Abobe για τα αρχεία .PDF. Με τον Sharepoint Portal Server 2001 έγινε implement IFilter COM component για τα XML και τα RTF αρχεία. Πολλοί τρίτοι κατασκευαστές το έχουν κάνει implement για δικά τους file format.

Μπορείς να ψάξεις με full text search στον SQL 2000, μέσα στα ελληνικά κείμενα, αλλά όχι με stemming αλλά με ολόκληρη τη λέξη. Ο Μάνος (KelMan) που το είχε ψάξει παραπάνω από μένα, είχε γράψει και κάποια demo SQL για να το παρουσιάσει κάπου. Απλά όταν έφτιαχνες το Full Text ήθελε προσοχή στην γλώσσα που θα έβαζες να μην ήταν η λατινική αλλά έπρεπε να είναι unicode αν θυμάμαι καλά... Δεν γίνεται από τον Enterprise Manager αλλά μόνο αν γράψεις T-SQL από τον Query Analyzer.

Θυμάμαι κάπου πρέπει να έχω κάποια vbscripts που χρησιμοποίησα για να μπορώ να κάνω query σε κάποια GBs με office documents. Η SQL σύνταξη είναι απλή αν χρησιμοποιήσεις τον OLEDB Provider για το Full Text Search.

Αν μπορείς στείλε το link για αυτό το άρθρο που βρήκες...

Υπάρχει πολύ βάθος στο Microsoft Text Search. Και σκέψου λίγο... Αν βάζαμε το file system του λειτουργικού μας μέσα στον SQL Server 2005 Express και από πάνω το Microsoft Text Search μήπως είχαμε φτιάξει το WinFS;

G.J.

Re: Μα, θα αφήναμε ποτέ το Google?

Παναγιώτης Καναβός — Wed, 29 Dec 2004 01:00:50 GMT

Κι όμως, η Microsoft είχε search αντίστοιχο του Google, ίσως και με μεγαλύτερες προοπτικές (προσοχή, δεν λέω δυνατότητες!) ήδη από τα Windows 2000! Λέω για το indexing service, το οποίο παρότι υπάρχει τόσο καιρό δεν προβλήθηκε ποτέ με το σωστό τρόπο. Για την ακρίβεια, ούτε τα ίδια τα Windows δεν το χρησιμοποιούν με σωστό τρόπο!

Θα έχουμε δει όλοι ότι στο Start Menu > Search ... υπάρχει μια επιλογή να χρησιμοποιηθεί το Indexing Service για να επιταχύνει τις αναζητήσεις. Δυστυχώς, το search σπάνια χρησιμοποιεί το Indexing Service. Για να μπορέσει κανείς να το χρησιμοποιήσει θα πρέπει να γράψει ένα query ΣΤΟ ΠΕΔΙΟ A word or phrase in a file: ! Άντε να καταλάβεις γιατί ...
Αν π.χ. θέλω να βρώ όλα τα mp3 στο μηχάνημά μου, θα γράψω
#filename *.mp3
Αν θέλω να συμπεριλάβω και ελάχιστο μέγεθος, θα γράψω
#filename *.mp3 AND #size <100000
Και μπορώ να χρησιμοποιήσω όχι μόνο αστεράκια, αλλά αν θέλω μπορώ να γράψω κανονικό regular expression! Και ακόμα καλύτερα, μπορώ να χρησιμοποιήσω και τα properties ενός αρχείου, π.χ. τον τίτλο ενός κειμένου, ή την ανάλυση ενός video. Π.χ. για να βρω τις εικόνες με οριζόντια ανάλυση πάνω από 300 pixel γράφω
#filename *.jpg AND #ImageResolutionX > 300

Τα καλά νέα είναι ότι οι αναζητήσεις εκτελούνται κατά κανόνα πολύ γρήγορα, σίγουρα πολύ γρηγορότερα από το Google ή το Lookout. Από την άλλη, δεν υπάρχει περιορισμός στους τύπους αρχείων που υποστηρίζονται. Επίσης, μπορούμε να το χρησιμοποιήσουμε και στις εφαρμογές μας μέσω interop.
Τα κακά νέα είναι ότι από τη μια η σύνταξη των queries είναι λίγο μυστήρια και βρίσκεται μόνο στο MSDN (όχι στο help των Windows). Από την άλλη, η απόδοση είναι λίγο κυκλοθυμική. Μπορεί κάποιο query τώρα να αργήσει να εκτελεστεί και μετά από λίγο να εκτελεστεί άμεσα (μάλλον είναι θέμα caching). Και το γεγονός ότι πρέπει να κάνεις κόλπα για να το χρησιμοποιήσεις δεν βοηθάει και πολύ.

Το ωραίο όμως το άφησα για το τέλος. Το Indexing Service χρησιμοποιείται και από το Sharepoint και από τον SQL Server για Full-Text Search. Μόνο που ως τώρα η χρησιμότητα του ήταν περιορισμένη επειδή δεν μπορούσε να κάνει stemming για τα Ελληνικά, να βρει δηλαδή τη ρίζα της λέξης και να αναζητήσει τις διάφορες μορφές της. Κανείς δεν είχε φτιάξει stemmer ως τώρα για τα ελληνικά (απόσο ξέρω) γιατί το API ήταν κρυφό. Κι όμως, την τελευταία φορά που κοίταξα στο MSDN, βρήκα το API για stemming!
ΕΠΙΤΕΛΟΥΣ! Θα μπορέσουμε επιτέλους να αποκτήσουμε και ελληνικό Full-Text Search! It's up to us now να φτιάξουμε το stemmer!

Re: Μα, θα αφήναμε ποτέ το Google?

patrick — Tue, 07 Dec 2004 08:39:37 GMT

Φοβερό! Ο David Letterman παρουσιάζει το MSN Search στην εκπομπή του!!!

Δείτε το video εδώ (6ΜΒ).

Re: Μα, θα αφήναμε ποτέ το Google?

jded — Mon, 15 Nov 2004 18:30:29 GMT

KelMan wrote:

Αν κάνεις αυτό import στο registry, τότε με gg <search strings> ψάχνεις στα Google Groups.

Δεν εννοούσα ότι δεν μπορείς να κάνεις search από τον IE στο Google Groups, αλλά ότι το MSN Searh δεν έχει Google Groups!

Re: Μα, θα αφήναμε ποτέ το Google?

KelMan — Sun, 14 Nov 2004 21:08:07 GMT

jded wrote:
Ναι αλλά δεν υπάρχει registry hack για τα Google Groups!!!!
Όσο για το Opera και το Firefox δεν είναι Registry hack, είναι built-in... Και μπορείς να φτιάξεις και δικά σου από το interface....

Μα, αυτό έλεγα, ότι με τα seachURLs μπορείς να ψάξεις για οτιδήποτε.
Για παράδειγμα:

Windows Registry Editor Version 5.00

[HKEY_CURRENT_USER\Software\Microsoft\Internet Explorer\SearchUrl]
"provider"="gogl"
@="http://www.google.com/keyword/%s"

[HKEY_CURRENT_USER\Software\Microsoft\Internet Explorer\SearchUrl\gg]
@="http://groups.google.com/groups?q=%s&hl=en&btnG=Google+Search"
" "="+"
"+"="%2B"
"%"="%25"
"&"="%26"
"#"="%23"

Αν κάνεις αυτό import στο registry, τότε με gg <search strings> ψάχνεις στα Google Groups.

Ωστόσο, έκανα λάθος στο προηγούμενο post μου που είπα ότι είναι για οποιονδήποτε browser, είναι για IE...

Re: Μα, θα αφήναμε ποτέ το Google?

KelMan — Sun, 14 Nov 2004 20:45:39 GMT

Search wars - which is the best?

Στο site του BCC έκαναν ένα συγκριτικό test...
http://news.bbc.co.uk/1/hi/magazine/4003193.stm

Re: Μα, θα αφήναμε ποτέ το Google?

jded — Sat, 13 Nov 2004 00:40:13 GMT

Ναι αλλά δεν υπάρχει registry hack για τα Google Groups!!!!
Όσο για το Opera και το Firefox δεν είναι Registry hack, είναι built-in... Και μπορείς να φτιάξεις και δικά σου από το interface....

Re: Μα, θα αφήναμε ποτέ το Google?

KelMan — Sat, 13 Nov 2004 00:19:11 GMT

Αυτό το κολπάκι με το g <search-string> βασίζεται σε ένα registry hack (εντάξει, η λέξη hack είναι λίγο υπερβολική) με το οποίο μπορείς να προσθέσεις τη δυνατότητα για quick search σε οποιονδήποτε browser για οποιοδήποτε site.

Εδώ έχει περισσότερες πληροφορίες...

Re: Μα, θα αφήναμε ποτέ το Google?

jded — Sat, 13 Nov 2004 00:06:17 GMT

Γρήγορη είναι αλλά δεν έχει κάτι πολύ βασικό κατά τη γνώμη μου. Google Groups!!!!!
Επίσης στο Firefox και στο Opera μπορείς να κάνεις search από τη διεύθυνση, βάζοντας g <κείμενο που ψάχνεις>, οπότε δεν χρειάζεσαι τα ενοχλητικά toolbars....

Re: Μα, θα αφήναμε ποτέ το Google?

Andreas Tsouchlaris — Fri, 12 Nov 2004 13:52:07 GMT

patrick wrote:
Αυτό, ευτυχώς, το έχουν καταλάβει - αν δεις το beta site, η αρχική σελίδα είναι υπερβολικά λιτή!

...και απίστευτα γρήγορη! Για να δούμε τι θα γίνει.

Re: Μα, θα αφήναμε ποτέ το Google?

KelMan — Fri, 12 Nov 2004 08:39:02 GMT

Ναι, το είδα αφού είχα κάνει το post...

Πάντως, διαβάζοντας αυτό μου φαίνεται ότι αρχίζει να μυρίζει μπαρούτι...