Pan gyhoeddwyd ein hadnoddau cyfieithu peirianyddol yn gynharach yn y mis, roeddem yn defnyddio’r fersiwn cyntaf o Moses, sef fersiwn 1.0. Bellach, rydym wedi diweddaru’r sgriptiau hwyluso er mwyn defnyddio’r fersiwn diweddaraf: Moses 3.0.

Mae’r cyfan ar gael un ai o GitHub ar http://github.com/PorthTechnolegauIaith/moses-smt neu o Docker.com https://registry.hub.docker.com/u/techiaith/moses-smt/.

Mae Moses 3.0 yn cynnig nifer o welliannau i gyfieithwyr. Yn ôl y datganiad cyhoeddi (y gellir ei weld yma) mae’r rhain yn cynnwys nodweddion sy’n cyflymu’r broses dadgodio, yn rhyddhau mwy o gof ac yn gwneud Moses yn fwy effeithiol yn y dasg o baru’r brawddegau perthnasol.

Byddwn yn cymryd mantais o’r diweddariad er mwyn gwella peiriant cyfieithu CofnodYCynulliad (sydd wedi ei drafod eisoes yma) gyda data ychwanegol y byddwn yn ei gasglu o’r Cynulliad.

Yn ogystal, rydym yn bwriadu creu peiriant cyfieithu parth benodol ar gyfer cyfieithu meddalwedd, diolch i ddata a gyfrannwyd gan Rhoslyn Prys o meddal.com.

Mae’r rhain yn esiamplau gwych o natur iterus peiriannau cyfieithu, lle mae’n bosib ychwanegu mwy o ddata i’w datblygu a’u gwella’n barhaus. Cadwch eich llygaid allan am fwy o ddatblygiadau gyda hyn.

Gan ein bod ni wedi rhyddhau ein system cyfieithu peirianyddol o fewn Docker mae’n ddigon hawdd i’w rhedeg ar system OS X!

Yn gyntaf, rhaid gosod un neu ddau becyn meddalwedd ar eich cyfrifiadur. Mae’r tiwtorial yma yn defnyddio ‘Homebrew‘ er mwyn gosod y pecynnau.
(Gallwch edrych eto ar y tiwtorial gwreiddiol os hoffech chi.)

Gosod VirtualBox

• Mae Docker angen VirtualBox ar OS X (a Windows) er mwyn rhedeg y rhith-beiriannu Linux. Llwythwch VirtualBox i lawr o’r wefan VirtualBox.

Gosod boot2docker a docker

Byddwn yn defnyddio homebrew er mwyn gosod rhain. Agorwch Terminal ac ysgrifennwch y gorchmynion canlynol:

• ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

  Mae hyn yn gosod homebrew ar eich cyfrifiadur

• Wedyn, gosodwch boot2docker a docker gyda’r gorchmynion canlynol:

  brew install boot2docker
  brew install docker

• Cychwynnwch boot2docker (er mwyn llwytho ffeil rhith-beiriant i lawr) fel hyn:

  boot2docker init

   

Cynyddu maint disg VirtualBox

Bydd ffug-ddisg VirtualBox yn cael ei greu gyda therfyn maint o 20GB. Mae’r system cyfieithu peirianyddol (Moses SMT), gan gynnwys y ffeil model iaith, yn gofyn am faint disg mwy na hyn i weithredu, felly bydd yn amlwg bod angen cynyddu maint y disg. Yn anffodus mae hyn yn broses eithaf hir, ond y newyddion da yw bod Docker wedi ysgrifennu tiwtorial syml iawn ar sut i’w wneud!

Rydym yn awgrymu cynyddu maint y disg i 30GB (mewn gwirionedd, mae’r system cyfieithu peirianyddol angen disg o tua 21GB yn unig).

Llwytho i lawr a gosod y system cyfieithu

Ar ôl i chi gynyddu maint y disg o fewn VirtualBox, mae angen i chi gychwyn y peiriant boot2docker. Ewch yn ôl i Terminal, ac ysgrifennwch:

boot2docker up

Cymerwch nodyn o beth sydd yn cael ei brintio i’r sgrin ar ddiwedd y gorchymyn yma. Mae hyn yn bwysig er mwyn i chi allu cyfathrebu gyda Docker. Dylai edrych yn debyg i hyn:

Writing /Users/patrick/.boot2docker/certs/boot2docker-vm/ca.pem
Writing /Users/patrick/.boot2docker/certs/boot2docker-vm/cert.pem
Writing /Users/patrick/.boot2docker/certs/boot2docker-vm/key.pem
    export DOCKER_CERT_PATH=/Users/patrick/.boot2docker/certs/boot2docker-vm
    export DOCKER_TLS_VERIFY=1
    export DOCKER_HOST=tcp://192.168.59.103:2376

Mae’r tair linell olaf yn arbennig o bwysig. Copïwch nhw, ac yna ail-ludwch nhw i mewn i’ch ffenestr Terminal er mwyn rhedeg y gorchmynion allforio (export).

Docker yn barod

Yn awr, ar ôl hyn i gyd, mae Docker yn barod!
Llwythwch y ffeil cyfieithu peirianyddol i lawr gan ddefnyddio’r orchymyn canlynol:

docker pull techiaith/moses-smt

Ac yna cychwynnwch y peiriant gyda:

docker run --name moses-smt-cofnodycynulliad-en-cy -p 8008:8008 -p 8080:8080 techiaith/moses-smt start -e CofnodYCynulliad -s en -t cy

Sylwer: mae hyn yn llwytho model cyfieithu i lawr sydd wedi’i selio ar Gofnod y Cynulliad. Gallwch newid yr enw ‘CofnodYCynulliad’ ar ôl y gorchymyn ‘start’ i unrhyw un o’r 3 isod:

• CofnodYCynulliad (en-cy a cy-en) – dau fodel mawr iawn sydd wedi eu seilio ar y cofnod. Mae un yn benodol ar gyfer cyfieithu Saesneg-Cymraeg (en-cy), a’r un arall ar gyfer cyfieithu Cymraeg-Saesneg (cy-en). Maint: ~3.7GB yr un
• CofnodBachYCynulliad – model llawer llai sydd wedi’i seilio ar is-set o ddata’r cofnod (rydym yn awgrymu defnyddio hwn er mwyn arbrofi’n gynt). Maint: ~65MB
• Deddfwriaeth – wedi’i hyfforddi o ddata’r Ddeddfwriaeth. Maint: ~900MB

Mae’r tri model iaith yma hefyd ar gael i’w llwytho i lawr o techiaith.org. Gweler http://techiaith.org/moses/

Mae’n bwysig hefyd nodi bod modd i chi defnyddio eich model iaith eich hun yn y cam yma (os ydych wedi hyfforddi un eisioes wrth gwrs)! Cofiwch fod y data yr ydym ni yn ei ddarparu megis man dechrau yn unig, ac mae’n weddol syml hyfforddi eich model iaith eich hun. Gwelwch y dogfennu ar ar sut i wneud hyn yma.

Gweld Moses yn gweithio

Mae’r gorchymyn ‘docker run’ diwethaf yn creu gweinydd ar eich cyfrifiadur lleol ar y porth 8008. Er mwyn gallu cysylltu at y porth yma, mae’n rhaid i chi agor y pyrth yn VirtualBox. Agorwch y rhaglen ‘VirtualBox.app’ (yn eich ffolder ‘Applications’, ac yna cliciwch ar ‘Settings’, ac yna’r tab ‘Network’. Mae yna fotwm ar waelod y sgrin o’r enw ‘port forwarding’. Ychwanegwch reolau fel y gwelir isod:

Dyna fo!

Ewch i http://127.0.0.1:8008 yn eich porwr a dechreuwch gyfieithu!

Mae nifer o gyfieithwyr yn credu mai dim ond un peiriant cyfieithu sydd yn bodoli o fewn eu hisadeiledd cyfieithu. Ond mae rhai cyfieithwyr yn defnyddio nifer o beiriannau – peiriannau cyfieithu parth-benodol.

Peiriant sydd wedi’i greu a’i gynllunio er mwyn cyfieithu testunau sy’n deillio o feysydd, arddulliau neu gyweiriau arbennig yw peiriant cyfieithu parth benodol. I nifer o gyfieithwyr mae peiriannau parth-benodol yn cynnig gwell cyfieithiadau na systemau cyfieithu peirianyddol cyffredinol.

Mae peiriannau parth-benodol yn cynnig manteision pendant mewn sefyllfaoedd lle defnyddir cofion cyfieithu arferol eisoes yn llwyddiannus i arbed amser a chostau. Os oes gennych fynediad at gofion cyfieithu parth benodol, gallai defnyddio peiriant cyfieithu parth-benodol, yn unol â threfn ôl-olygu, alluogi i chi fod yn llawer mwy cynhyrchiol ac effeithlon fel cyfieithydd nac y byddech gan ddefnyddio systemau cof cyfieithu arferol yn unig.

Heddiw rydym yn rhyddhau adnoddau yn y Porth Technolegau Iaith ac ar GitHub sydd yn eich caniatáu chi i greu, gan ddefnyddio Moses-SMT, eich peiriannau cyfieithu parth-benodol eich hun.

Rhybudd – bydd angen cyfrifiadur Linux arnoch (e.e. Ubuntu), sy’n meddu ar o leiaf 4Gb o gof RAM a maint sylweddol o destun Cymraeg-Saesneg cyfochrog. Mae ein dulliau yn cynhyrchu peiriannau parth-benodol nad ydynt angen lawer o gof i’w rhedeg, ond sy’n gofyn am lawer o ofod GB ar eich disg caled.

Cyn dechrau, bydd rhaid i chi osod Moses-SMT gan ddilyn y cyfarwyddiadau ar y dudalen canlynol : Gosod Moses-SMT ar Linux. Mae’r sgriptiau gosod yn cynnwys ychwanegiadau gennym ni sy’n hwyluso’r broses o hyfforddi Moses-SMT gyda’ch testun Cymraeg-Saesneg cyfochrog.

Mae’r dudalen Creu Peiriannau Moses-SMT yn cynnig cyfarwyddiadau llawn ar sut mae mynd ati, ond yn syml, dyweder bod gennych destun cyfochrog eisioes yn bodoli o ganlyniad i’ch gwaith cyfieithu ar ddogfenni marchnata, dylech ddilyn y camau canlynol.

I ddechrau, rhowch y testun Cymraeg o fewn ffeil o’r enw ‘Marchnata.cy’ a’r testun Saesneg o fewn ‘Saesneg.en’ ac yna cadwch y ffeiliau o fewn is-ffolder ‘corpus’ o fewn cynllun ffolderi eich peiriant ‘Marchnata’, fel hyn:

moses@ubuntu:~/moses-smt$ cd ~/moses-models/Marchnata/corpus
moses@ubuntu:~/moses-models/Marchnata/corpus$ ls
Marchnata.cy  Marchnata.en

Mae’r data yn nawr yn barod ar gyfer ei hyfforddi. Bydd angen dim ond un gorchymyn arnoch, gan nodi enw’r peiriant a’r cyfeiriad cyfieithu (e.e. Cymraeg i Saesneg, neu Saesneg i Gymraeg). Felly, os hoffwch chi greu peiriant sy’n arbenigo mewn marchnata, ac sy’n cyfieithu o Saesneg i Gymraeg, defnyddiwch y gorchymyn canlynol :

moses@ubuntu:~/moses-smt$ python moses.py train -e Marchnata -s en -t cy

Bydd hyn yn achosi i lwyth o destun ymddangos ar y sgrin. Bydd y gorchymyn, yn dibynnu ar maint eich set ddata gwreiddiol, yn cymryd oriau i’w gwblhau. Does dim angen dilyn adroddiadau cynnydd y broses hyfforddi yn drylwyr ond byddwch angen cadw llygaid allan am unrhyw negeseuon ‘gwall difrifol’ er mwyn gwirio os y bu’r hyfforddi yn llwyddianus.

Os oedd y broses hyfforddi yn llwyddianus, dilynwch unrhyw gais i olygu a newid ffeiliau y peiriant newydd.

Yn olaf, i gychwyn eich peiriant newydd, defnyddiwch y gorchymyn canlynol :

moses@ubuntu:~/moses-smt$ python moses.py start -e Marchnata -s en -t cy

Mae Moses-SMT yn system cyfieithu peirianyddol cod agored a ddatblygwyd yn bennaf ym Mhrifysgol Caeredin. Mae’r adnodd yma yn caniatáu i chi ddatblygu eich meddalwedd cyfieithu peirianyddol eich hunain o fewn eich projectau cyfieithu drwy ei hyfforddi gyda chorpora cyfochrog sy’n bodoli eisoes.

Rydym ni yn yr Uned Technolegau Iaith wedi defnyddio Moses-SMT er mwyn darparu nodweddion cyfieithu peirianyddol Cymraeg<>Saesneg o fewn ein cynnyrch masnachol: CyfieithuCymru, meddalwedd ar gyfer cynorthwyo a galluogi cyfieithu effeithiol o fewn sefydliadau.

Heddiw rydym yn rhyddhau’r systemau cyfieithu Moses-SMT hyn i chi, yn ogystal â’r data a gafodd ei ddefnyddio i’w hyfforddi.

Rydym yn bwriadu rhyddhau ein peiriannau yn rhydd ac am ddim oherwydd ein bod yn credu bod angen i gyfieithwyr y Gymraeg fod yn feistri ar eu is-adeiledd cyfieithu peirianyddol eu hunain, a meddu ar y ddealltwriaeth ofynnol i allu meistrioli’r technolegau newydd yma i’r eithaf. Darllenwch ein cofnod blog blaenorol i weld mwy am hyn.

Mae’r peiriannau yn hawdd iawn i’w llwytho i lawr, gosod a rhedeg. Rydym wedi datblygu trefn syml iawn sy’n gofyn am ddau orchymyn *yn unig* i’w gweithredu (cyn belled ag y bydd y system weithredu a’r cydrannau priodol wedi eu gosod yn barod)!

Cyn i chi fwrw ymlaen, hoffem bwysleisio unwaith eto bwysigrwydd materion ansawdd – eich cyfrifoldeb chi yw sicrhau y defnyddir y meddalwedd cyfieithu peirianyddol hwn yn y dull priodol, gan gynnwys ôl-gyfieithu priodol ac ystyrlon (gweler Materion Ansawdd).

Docker

Mae Docker yn isadeiledd agored i ddatbygwyr a weinyddwyr systemau ar gyfer adeiladau, dosbarthu a rhedeg meddalwedd cymhleth. Gan ddefnyddio technoleg Docker bydd hi’n hawdd iawn i chi osod a rhedeg peiriannau cyfieithu Moses-SMT heb amharu dim ar weddill eich cyfrifiadur.

Rydym wedi llwytho ein system Moses-SMT i gofrestrfa ganolog docker.com.

Bydd angen fersiwn mwy diweddar na 1.0.1 o Docker ar eich system Linux. Rydym ni yn defnyddio Ubuntu fel arfer. Dyma fideo ar YouTube sy’n esbonio sut mae gosod docker 1.3 ar Ubuntu 14.04 yn hwylus. Os hoffech redeg eich peiriant cyfieithu ar gyfrifiadur Windows neu Mac OS X yna efallai y bydd modd defnyddio Boot2Docker.

O fewn Linux, y ddau orchymyn yw:

Gorchymyn 1 : Gosod Moses-SMT (gyda Docker)

$ docker pull techiaith/moses-smt

Bydd hyn yn llwytho ac yn gosod isadeiledd cyfieithu peirianyddol o fewn eich system Docker.

Ar ôl iddo orffen llwytho i lawr, teipiwch ‘docker images’ i gadarnhau ei fod wedi ei osod:

$ docker images
REPOSITORY                                        TAG                 IMAGE ID            CREATED             VIRTUAL SIZE
techiaith/moses-smt                               latest              3dbad7f9aabf        41 hours ago        3.333 GB
$

Gorchymyn 2 : Cychwyn Peiriant Cyfieithu o’ch Ddewis

Mae’r Uned Technolegau Iaith wedi creu peiriannau cyfieithu ar sail hyfforddi gyda data rydym wedi’i gasglu o ffynonellau agored a chyhoeddus, megis Cofnod y Cynulliad a’r Ddeddfwriaeth ar-lein.

Mae gan y peiriannau enwau a chyfeiriadau cyfieithu penodol. Yr enw ar y peiriant a hyfforddwyd gyda chofnodion y Cynulliad yw ‘CofnodYCynulliad’ a’r enw ar gyfer peiriant y corpws deddfwriaeth yw ‘Deddfwriaeth’.

Dyma’r ail orchymyn, gan ddewis peiriant ‘CofnodYCynulliad’ a’i osod i gyfieithu o’r Saesneg i’r Gymraeg :

$ docker run --name moses-smt-cofnodycynulliad-en-cy -p 8080:8080 -p 8008:8008 techiaith/moses-smt start -e CofnodYCynulliad -s en -t cy

Bydd y system yn llwytho ffeil i lawr (tua 3Gb mewn maint yn achos peiriant CofnodYCynulliad) cyn iddo gadarnhau ei fod yn barod i dderbyn ceisiadau i’w cyfieithu.

Os agorwch chi eich porwr a mynd at http://127.0.0.1:8008 , dylai ffurflen syml ymddangos er mwyn i chi wirio a yw’r peiriant yn gweithio ai peidio :

Data Hyfforddi

Mae’r data a gasglwyd gan yr Uned, ac a ddefnyddiwyd er mwyn hyfforddi ein peiriannau Moses-SMT, ar gael isod:

• Cofnod y Cynulliad (http://techiaith.org/corpws/Moses/CofnodYCynulliad/)
• Deddfwriaeth (http://techiaith.org/corpws/Moses/Deddfwriaeth/)

Mae chwyldro ar droed yn y byd cyfieithu. Mae cyfieithwyr yn troi yn ôl-olygwyr wrth i’r peiriant gyfieithu’r drafft cyntaf, ac i olygydd dynol wedyn ei fireinio drwy ei ôl-olygu. Dim ond cyfieithu llenyddol a sensitif iawn fydd yn osgoi’r dynged hon. Mae hyn yn cael ei yrru gan yr angen i gyfieithu swmp aruthrol o waith, mewn amser byr ac am bris rhesymol.

Mae’r Uned Technolegau Iaith wedi bod yn paratoi am hyn drwy ddatblygu cyfarpar cyfieithu peirianyddol Cymraeg<>Saesneg. Bellach rydym yn ei ddarparu fel adnodd drwy’r Porth Technolegau Iaith. Gan ddefnyddio’r adnodd hwn bydd modd i unrhyw un wneud y canlynol:

• cynnal a bod yn berchen ar eu system cyfieithu Cymraeg<>Saesneg nhw eu hunain
• defnyddio eu corpora cyfochrog eu hunain i greu ac addasu peiriannau cyfieithu arbenigol

Er bod arfau cyfieithu peirianyddol ar gyfer y Gymraeg a’r Saesneg eisoes ar gael drwy wasanaethau cwmnïau mawr megis Google a Microsoft, mae anfanteision pendant o ran eu defnydd. Drwy rannu ein hadnoddau cyfieithu peirianyddol yn rhydd, yn hael ac yn rhwydd, rydym yn gobeithio bod o fudd i’r diwydiant cyfieithu yng Nghymru, egino a magu cymuned o ymarferwyr cyfieithu peirianyddol, ac osgoi ddibyniaeth ar sefydliadau rhyngwladol.

Buom yn esbonio’n syniadau yng nghynhadledd TILT ym Mangor ym mis Mehefin llynedd. Dyma’r sleidiau:

MATERION ANSAWDD

Hyd yn hyn nid yw cyfieithiadau sydd wedi’u cynhyrchu gan beiriant yn berffaith rhwng unrhyw bâr o ieithoedd. Yn y gorffennol, cafwyd penawdau yn y wasg oherwydd camgyfieithiadau chwerthinllyd neu rai sydd wedi peri embaras mawr, a gallant hefyd beri i gwrs cyfiawnder gael ei wyrdroi. Mae hyn yn rhoi enw drwg i gyrff sy’n ceisio arbed arian drwy ddefnyddio cyfieithu peirianyddol. Fodd bynnag, mae’n dderbyniol defnyddio cyfieithu peirianyddol law yn llaw gydag ôl-gyfieithu dynol, ac mae modd ymgorffori hyn o fewn y llif gwaith cof cyfieithu. Eich cyfrifoldeb chi yw sicrhau y defnyddir y meddalwedd cyfieithu peirianyddol hwn yn y dull priodol ddisgrifwyd yma, gan gynnwys ôl-gyfieithu priodol ac ystyrlon, sy’n osgoi llesteirio delwedd y diwydiant cyfieithu a’r Gymraeg.

Mae nodyn cyngor llawn yma:

http://techiaith.bangor.ac.uk/index.php/nodyn-cyngor/