Re: Ispell-ordlister med Affix-filer i Hunspell-format

On 29 Sep 2016, at 7:54, Petter Reinholdtsen wrote:

> [Leif Halvard Silli]
>> Hei.
>
> Hei og takk for at du tar kontakt med oss som bryr oss om den frie
> norske stavekontrollen.  Den trenger flere som bryr seg og helst også
> folk med tid til å drive videreutvikling. :)

Eg vil gjerne yta min skjerv - over tid ...

>> Spell-norwegian-heimsida[1] seier at prosjektet inneheld:
>>
>> * Affix rules (in ispell format, automatically transformed to aspell 
>> and
>> myspell format).
>>
>> Så då eg lasta ned ordbokpakka (no_NO-pack2-2.2.zip[2]), venta eg 
>> at
>> dei affiksfilene som fylgde med, var ispell-kompatible. Og òg
>> Readme-fila i denne pakka opplyser at det er ei Ispell-pakke:
>> «README-file for the distribution of the Norwegian dictionaries for
>> ISPELL.»
>
> Her er nok egentlig feilen.  'for ISPELL' var nok riktig da 
> README-fila
> ble skrevet for lenge siden, men nå er det for ispell, aspell, 
> myspell
> og hunspell, og pack2-fila du lastet ned er så vidt jeg husker laget 
> for
> å være OOo-kompatibel og ikke en ispell-fil.  'for ISPELL' bør nok
> fjernes fra overskriften for å minske sjansen for misforståelser.

Dersom pack2 berre er meint å vera kompatible med Hunspell, burde 
innhald og innpakking vore reindyrka so dette var lett å forstå. Men 
då er det ikkje nok å berre byta ut overskrifta - også resten av 
innhaldet i den fila handlar om ISPELL. Endå tydlegare hadde det vore 
dersom ein gjekk over til UTF-8-format, som hunspell støttar, men ikkje 
ispell.

Er ordboksformatet ulikt for ispell og hunspell? Eg var under inntrykk 
av ordboksfilene var like, so lenge ein held seg til ISO-8859-1 og at 
det berre var affiksformata som var ulike. Dersom dei er like, so kunne 
ferdiglaga affiksfiler for ispell med føremun fylgd med i pack2.

(For meg ser ser ordboksfilene for ispell og hunspell ut til å vera 
like - eg køyrde iallfall denne kommandoen:

	ispell -e -d ./mydict.hash < mydict.txt > mydict.wl

både mot nb_NO.dic frå pack2 med hjelp av nb.aff.in og mot den ordboka 
som make genererte, inkludert nb.aff som make generete, og fekk heilt 
like filer.)

> Vi lager ikke separat ispell-pakke for nedlasting.

Ikkje dess mindre står det på heimsida at «Aspell and ispell packages 
are coming soon», sjå http://no.speling.org/#Download

> I hovedsak på grunn av
> at ispell er mest brukt på Linux og alle linux-distribusjoner jeg
> kjenner til inkluderer norsk stavekontroll for ispell selv og det 
> dermed
> ikke er behov for en separat distribusjon fra stavekontrollprosjektet.
> Distribusjonene tar kildekodepakken og lager ispell-, aspell-, 
> myspell-
> og hunspell-pakker til brukerne side.

Kildekodepakken = 'spell-norwegian-2.2', forstår eg no.

> Når det er sagt, Tør jeg spørre hvorfor du forsøker å bruke 
> ispell?  Det
> er jo det minst funksjonelle stavekontrollsystemet på Linux.  Jeg
> innbiller meg at hunspell er det mest funksjonelle, slik at det 
> kanskje
> er bedre å legge innsatsen der hvis du har et valg.

Eg la inn ispell fordi eg hadde bruk for å generera ei ordliste med 
alle bøygde av orda for bruk i eit anna ordlisteformat som generer 
ordlistene med hjelp av ordlister som innehald alle bøygde former. Eg 
freista å fylgja denne oppskrifta: 
http://www.xmlmind.com/xmleditor/_dictbuilder/doc/from_ispell.html

Eg har òg lagt inn Hunspell og har prøvd å skapa ei slik ordliste med 
hjelp av unmunch-verktyet.

	Kommandoline: unmunch nb_NO.dic nb_NO.aff  >bokmaal.txt

Eg burde kanskje dobbeltsjekka, men utfallet av denne kommanodoen ser ut 
til å vera ei mykje stuttare fil en den fila eg til slutt greidde å 
laga med hjelp av ISPELL og ISPELL sitt buildhash-verkty. Eg er difor 
ikkje uviss på om Hunspell sitt unmunch-verkty skapar ei ordliste som 
er so komplett som den ispell lagar.

>> Dei opphavlege - og Ispell-kompatible - affiks-filene, ligg i staden 
>> i
>> spell-norwegian-pakka[4] og heiter "nn.aff.in" og "nb.aff.in". Då eg
>> køyrde buildhash mot desse filene (iallfall galdt det
>> bokmålsversjonen), gjekk det stort sett bra - men det kom nokre
>> feilmeldingar (for orddboksord som hadde punktum i seg mm). Eg veit
>> ikkje om dette kom av avgrensingar i Ispell eller om det kom av at
>> ispell-affiksfilene ikkje har vore oppdaterte på ei stund eller om
>> ordbøkene ikkje lenger er ispell-kompatible.
>
> Det kommer nok av at du har brukt råfiler som skal brukes under 
> bygging
> av stavekontrollpakker, ikke selve aff-filene.

Fila 'nb.aff.in' ser heilt ut som ei affiks fil. Eg køyrde make på 
kjeldekodepakka, og den einaste skilnaden på 'nb.aff.in' og 'nb.aff' 
syner seg å vera visse ting relatert til bokstavane îÎ (LATIN SMALL 
LETTER I WITH CIRCUMFLEX og LATIN CAPITAL LETTER I WITH CIRCUMFLEX). Det 
med iI med sirkumfleks virkar litt som ein feil - men det er jo berre ei 
gissing frå mi side.

Kvar er forresten det norske ispell-prosjektet? Ligg det norske 
ispell-prosjektet eigentleg ligg her?: http://spell-no.sourceforge.net/

>> At sjølve ordbokpakka manglar affiksfiler i Ispell-format, ser ut 
>> til
>> å ha vore tilfelle i mange år.
>
> pack2-fila skal ikke ha, og har aldri hatt ispell-relevante filer.

(Sjå eventuelt det eg har sagt/spurd om ovanfor.)

>> Framlegg (under føresetnad av at ispell og hunspell har same
>> ordbokformat): Affiksfilene for både ispell og hunspell (og aspell?)
>> bør distribuerast saman med ordboksfilene (og det bør gå fram av
>> namnet på affiksfilene kva for eit affiksfilformat det er snakk om).
>
> Kan du forklare litt mer hva slags brukeropplevelse du tenker på?

Eg tenkjer på den brukaropplevinga ein får når ein kjem til 
http://no.speling.org og les det som står der og deretter lastar ned 
filene ifrå https://alioth.debian.org/frs/?group_id=30577. Kanskje er 
http://no.speling.org noko av det viktigaste å oppdatere ...

> Når
> holder det ikke med Linux-distribusjonens egne pakker for norsk
> stavekontroll?

Tja. På Mac har ein t.d. homebrew (http://brew.sh) og på Windows har 
ein Scoop (http://scoop.sh) som let deg installera all slag 
unix/linux-program. Til dømes kan ein slik installera ispell og 
hunspell etc. Iallfall på Mac er brew svært populært, slik eg 
oppfattar det.

> For å oppsummere:
>
>   no_NO-pack2-2.2.zip er en fil vi startet å lage da OpenOffice.org
>   manglet norsk stavekontroll inkludert på Windows og Mac.

OK.

>   spell-norwegian-2.2.tar.gz er kildekoden til stavekontrollen og
>   inneholder det som trengs for å bygge stavekontrollfiler til ulike
>   konsumenter som ispell, aspell, myspell og hunspell.  En må kjøre
>   'make' for å lage filene som konsumentene trenger, de finnes ikke i
>   tarballen i ferdigbygget form.

Hjå meg gjekk det OK å køyra make fram til eg fekk denne meldinga:

make: *** [nb.mch] Error 1

Leif Halvard Silli