Re: [L-A Lokalisointi] finnish spell checker (fwd)

On Wed, May 19, 2004 at 08:50:36AM +0300, Nathan Letwory wrote:
> Webcrawler, josta h=E4n puhuu, on kehitetty korpusten laatimiseen, ja s=
e=20
> on t=E4ysin eri asia kuin sanakirjan laatiminen. Jo t=E4ll=E4 hetkell=E4=
 en ole=20
> yht=E4=E4n tyytyv=E4inen nykyisiin sanakirjoihin (tai kielitieteellises=
ti=20
> oikeammin: sanalistoihin), joita k=E4ytet=E4=E4n oikolukuohjelmiin (isp=
ell ja=20
> aspell), ja ehdotetun menetelm=E4n k=E4ytt=F6 vain lis=E4isi h=E4iri=F6=
iden m=E4=E4r=E4n=20
> sanalistaan (ly=F6n vetoa sille, ett=E4 suurin osa l=F6ydett=E4viss=E4 =
olevasta=20
> materiaalista _ei_ sovi sanakirjamateriaaliksi - ainakaan yleiskielen ~=
).
>=20
> Toki, t=E4ss=E4 saisi hyv=E4n l=E4ht=F6kohdan materiaalin n=E4k=F6kulma=
sta, mutta=20
> toisaalta se tulee my=F6s hyvin paljon rajoittamaan ja viel=E4 enemm=E4=
n=20
> haittaamaan selvitysty=F6t=E4.
>=20
> Paras mahdollinen tapa saada nopeasti ja luotettavasti=20
> sanakirjamateriaalia on ottaa yhteytt=E4 Kotukseen (Kotimaisten kielten=
=20
> tutkimuskeskus, http://www.kotus.fi), ja pyyt=E4=E4 saako heilt=E4=20
> sanalistoja, ja jos mahdollista viel=E4 sanavartalolistoja.

Tietysti on helpompaa hankkia valmis tietokanta suomen kielen sanoista
ja kunkin sanan taivutusmuodosta, kuin alkaa itse sit=E4 kokoamaan. Jos
kuitenkin tietokanta halutaan koota itse, muita vaihtoehtoja ei taida
olla kuin korpuksen ker=E4=E4minen ja sen analysointi. Materiaalin
hankkiminen internetist=E4 on er=E4s tapa, tietysti jos k=E4ytett=E4viss=E4=
 on
parempilaatuisia l=E4hteit=E4, niin hyv=E4.  Huonolaatuisen materiaalin v=
oi
kuitenkin helposti pit=E4=E4 erill=E4=E4n muusta, joten en heti n=E4e, mi=
ten
lis=E4materiaalista aiheutuisi merkitt=E4v=E4=E4 haittaa.

Mutta olisi tosiaan hyv=E4 ajatus selvitt=E4=E4 esimerkiksi juuri Kotukse=
lta,
mit=E4 _vapaasti k=E4ytett=E4v=E4=E4_ dataa heill=E4 on.

> Valitettavasti en l=F6yt=E4nyt lis=E4=E4 informatiota aspellin k=E4ytt=E4=
mist=E4=20
> tekniikkoista, mutta lienee selv=E4, ett=E4 kaksitasomalli (TWOL, eli=20
> two-level morphology model) on ehk=E4 sopivin t=E4h=E4n oikolukuteht=E4=
v=E4=E4n=20
> suomea ajatellen.

Aspellin k=E4ytt=E4m=E4t tekniikat ovat k=E4sitt=E4=E4kseni ik=E4v=E4 kyl=
l=E4 samat kuin
Ispelliss=E4. Osan sanoista pystyy kompressoimaan muutamaan (~4-10 jos
oikein muistan) sanavartaloon (substantiivien ja adjektiivien monet
taivutusp=E4=E4tteet onnistuvat, verbeist=E4 osa onnistuu), mutta s=E4=E4=
nn=F6t ovat
liian rajoittuneita mink=E4=E4n kovin monimutkaisen tekemiseen. Yhdyssano=
ja
s=E4=E4nn=F6ill=E4 ei voi k=E4sitell=E4 oikein j=E4rkev=E4sti.

TWOL-koneita on kuitenkin valmiina (mmorph on ainakin jonkinlainen,
vaikkakaan ei oikolukutarkoitukseen), joten ty=F6n=E4 olisi oikeastaan va=
in
kirjoittaa s=E4=E4nn=F6t ja haalia tarvittava data jostakin. Datan haalim=
inen
voi osoittautua vaikeaksi, jos valmista dataa ei voi lisenssisyist=E4
(tms) k=E4ytt=E4=E4.

> Vaikka olisikin automaattisoituja menetelmi=E4, t=E4ytyy kuitenkin tehd=
=E4=20
> k=E4sit=F6it=E4 (ja aika paljonkin).

K=E4sit=F6it=E4 ei voi varmaankaan kokonaan v=E4ltt=E4=E4 datan kokoamise=
ssa, sill=E4
tavoin monet sanalistat kai on aikoinaan koottu.

--=20
Pauli Virtanen