Re: [L-A Lokalisointi] finnish spell checker (fwd)

Webcrawler, josta h=E4n puhuu, on kehitetty korpusten laatimiseen, ja se=20
on t=E4ysin eri asia kuin sanakirjan laatiminen. Jo t=E4ll=E4 hetkell=E4 =
en ole=20
yht=E4=E4n tyytyv=E4inen nykyisiin sanakirjoihin (tai kielitieteellisesti=
=20
oikeammin: sanalistoihin), joita k=E4ytet=E4=E4n oikolukuohjelmiin (ispel=
l ja=20
aspell), ja ehdotetun menetelm=E4n k=E4ytt=F6 vain lis=E4isi h=E4iri=F6id=
en m=E4=E4r=E4n=20
sanalistaan (ly=F6n vetoa sille, ett=E4 suurin osa l=F6ydett=E4viss=E4 ol=
evasta=20
materiaalista _ei_ sovi sanakirjamateriaaliksi - ainakaan yleiskielen ~).

Toki, t=E4ss=E4 saisi hyv=E4n l=E4ht=F6kohdan materiaalin n=E4k=F6kulmast=
a, mutta=20
toisaalta se tulee my=F6s hyvin paljon rajoittamaan ja viel=E4 enemm=E4n=20
haittaamaan selvitysty=F6t=E4.

Paras mahdollinen tapa saada nopeasti ja luotettavasti=20
sanakirjamateriaalia on ottaa yhteytt=E4 Kotukseen (Kotimaisten kielten=20
tutkimuskeskus, http://www.kotus.fi), ja pyyt=E4=E4 saako heilt=E4=20
sanalistoja, ja jos mahdollista viel=E4 sanavartalolistoja.

Valitettavasti en l=F6yt=E4nyt lis=E4=E4 informatiota aspellin k=E4ytt=E4=
mist=E4=20
tekniikkoista, mutta lienee selv=E4, ett=E4 kaksitasomalli (TWOL, eli=20
two-level morphology model) on ehk=E4 sopivin t=E4h=E4n oikolukuteht=E4v=E4=
=E4n=20
suomea ajatellen.

Vaikka olisikin automaattisoituja menetelmi=E4, t=E4ytyy kuitenkin tehd=E4=
=20
k=E4sit=F6it=E4 (ja aika paljonkin).

Sit=E4 sanottua luulen, ett=E4 silti kokeilen tuota webcrawleria ihan vaa=
n=20
omia sanakirjatarpeittani ajatellen=20
(http://www.hollantiasuomalaisille.net ;)

/Nathan

Marko Gronroos wrote:

> On Tue, 18 May 2004, Kim Enkovaara wrote:
>=20
>>Sain allaolevan mailin, jos jotakuta asia kiinostaa ottakaa suoraan
>>yhteytt=E4 l=E4hett=E4j=E4=E4n.
>>
>>Vastailin, ett=E4 ainakaan KDE porukalla ei oikein ole resursseja moise=
en
>>urakkaan, ja yritin kertoa ett=E4 sanakirjapohjaiset oikolukijat eiv=E4=
t
>>oikein toimi.
>=20
>=20
> Joo, pelkk=E4 sanakirjapohjainen ei tosiaan oikein toimisi suomessa.
>=20
> Mutta en tied=E4 mit=E4 tekniikkaa nuo k=E4ytt=E4v=E4t. Vaikuttaa jolta=
in
> kieltiteknologiaheebolta, joten voi olla ett=E4 sill=E4 on hihassa jota=
in. Eri
> kielille on kyll=E4 tehty automaattisesti juuria ja niille sopivia taiv=
utuksia
> analysoivia systeemej=E4, mutta en tied=E4 kuinka toimivia ja erityises=
ti
> kieliriippumattomia nuo menetelm=E4t ovat. Suomen kieli kun on harvinai=
sen paha
> tapaus ihmeyhdyssanataivutush=E4ss=E4k=F6ineens=E4kink=F6h=E4n. Eli k=E4=
sit=F6it=E4 voi
> automatiikan j=E4lkeen tulla melkoisesti.
>=20
>=20
>>   We can generate lists of high-frequency words that aren't in
>>the existing dictionary, then (this is the tricky part)
>>do some "stemming" so that the appropriate root words can
>>be added with the correct affix flags automatically.
>=20
>=20
> Eli tuo on se avainjuttu.
>=20
> Voi kannattaa kysy=E4 tarkemmin, mit=E4 hemmolla on mieless=E4. Jos h=E4=
n k=E4ytt=E4=E4
> jotain automaattisia menetelmi=E4 tuohon, homma voi toimiakkin jotenkut=
en. Jos
> ei, taitaisi k=E4sity=F6 olla turhan kamalaa.
>=20
> -- Marko Gr=F6nroos, [email protected] (http://www.iki.fi/magi/)
>=20
>=20
> _______________________________________________
> Lokalisointi mailing list
> Lokalisointi-VgemUZeIY8Ow/[email protected]
> http://lists.linux-aktivaattori.org/listinfo/lokalisointi