Rhedeg modelau iaith bach yn lleol gyda LM Studio

Does dim angen API cwmwl na chlwstwr GPU arnoch i arbrofi gyda modelau iaith. Mae gliniaduron modern yn gallu rhedeg modelau cymharol fach yn lleol, gan gynnwys model sy’n sgwrsio yn y Gymraeg, ac mae LM Studio yn hwyluso’r broses gyfan! Yn y blog hwn cewch gyfarwyddiadau i’ch helpu wrth ddefnyddio model dwyieithog Bangor AI a LM Studio.

Pam rhedeg modelau’n lleol?

• Preifatrwydd — nid oes dim yn gadael eich peiriant; defnyddiol ar gyfer testun sensitif neu sydd heb ei gyhoeddi.
• All-lein ac am ddim — dim allweddi API, dim cost fesul tocyn, ac mae’n gweithio heb gysylltiad unwaith y mae’r model wedi’i lawrlwytho.
• Rheolaeth — mae modd dewis union fersiwn model, tiwnio gosodiadau cynhyrchu, ac arbrofi’n rhydd.
• Cymraeg ar eich gliniadur — mi allwch redeg model Cymraeg yn uniongyrchol, heb ddibyniaeth ar y cwmwl.

Ni fydd model lleol yn cyrraedd ansawdd modelau blaenllaw’r cwmwl, ond ar gyfer drafftio, crynhoi, dosbarthu testun, a dysgu sut mae modelau’n ymddwyn, mae’n hen ddigon — ac mae’n rhedeg yn gyfforddus ar liniadur gyda ~16 GB o RAM.

Beth yw LM Studio?

Ap bwrdd gwaith rhad ac am ddim ar gyfer macOS neu Windows neu Linux yw LM Studio sy’n:

• lawrlwytho modelau o Hugging Face ar ffurf GGUF (fformat cywasgedig llama.cpp) — ac ar ffurf MLX ar gyfer Mac hefyd,
• rhoi rhyngwyneb sgwrsio i chi siarad â nhw,
• a chynnig gweinydd lleol sy’n gydnaws ag API OpenAI, fel bod eich cod eich hun yn gallu galw’r model ar http://localhost:1234/v1 — yr un siâp API ag OpenAI, heb newid eich cleient.

Ar Apple Silicon mae’n defnyddio Metal (neu MLX) i gyflymu; ar beiriannau eraill mae’n defnyddio’r GPU lle bo un ar gael, gan syrthio’n ôl ar y CPU pan fo angen.

Y model — Mistral-7B-Cymraeg-Welsh-v2

Model sgwrsio dwyieithog (Cymraeg a Saesneg) gan Bangor AI yw BangorAI/Mistral-7B-Cymraeg-Welsh-v2 (trwydded: Apache-2.0). Fe’i hadeiladwyd trwy barhau i raghyfforddi Mistral-7B-v0.1 ar ddata Cymraeg o MADLAD-400, ac yna’i diwnio i ddilyn cyfarwyddiadau yn y ddwy iaith. Mae fersiynau GGUF parod ar gael yn mradermacher/Mistral-7B-Cymraeg-Welsh-v2-GGUF, felly gall LM Studio ei redeg yn uniongyrchol.

Un nodwedd ymarferol bwysig: iaith y prompt system sy’n arwain iaith yr ateb. Gosodwch brompt system Cymraeg (isod) ac fe gewch atebion Cymraeg.

Gosod a llwytho’r model

Y ffordd hawsaf yw dechrau ar dudalen y model ar Hugging Face — does dim angen cyfrif:

1. Ewch i dudalen mradermacher/Mistral-7B-Cymraeg-Welsh-v2-GGUF a chliciwch y botwm “Use this model”
   
2. Dewiswch “LM Studio” o’r rhestr.
   
3. Bydd eich porwr yn agor LM Studio gyda dewisydd ffeiliau’r model. Dewiswch y cywasgiad (“quant”) — mae Q4_K_M (~4.4 GB) yn ddewis da rhwng ansawdd a maint — a chliciwch “Download“.
4. Ar ôl i’r lawrlwytho orffen, dewiswch “Use in New Chat“.
   

Wrth i’r model lwytho, gwiriwch y dangosydd GPU offload — rydych am weld pob haen ar y GPU; os nad yw hynny’n bosib ar eich peiriant, dewiswch gywasgiad llai.

Dull arall: chwilio o fewn LM Studio

Gallwch gyrraedd yr un lle heb adael LM Studio:

1. Agorwch LM Studio → dewiswch y botwm “Model search” yn y ddewislen ar y chwith.
   
2. Chwiliwch ar Mistral-7B-Cymraeg. Cyn clicio “Download“, sylwch ar y dropdown o dan “Download Options” — dyma lle mae’n bosib newid y cywasgiad; mae LM Studio yn rhagosod ei argymhelliad ei hun ac mae’n hawdd methu’r dropdown.
   

Mi allwch ddefnyddio’r derfynell os yn well genych, trwy deipio: lms get mradermacher/Mistral-7B-Cymraeg-Welsh-v2-GGUF (mae’r CLI yn holi pa gywasgiad).

Sgwrsio yn y Gymraeg

Gosodwch brompt system Cymraeg yn gyntaf (yn y panel gosodiadau ar y dde), e.e.:

Rwyt ti'n gynorthwyydd defnyddiol sy'n ateb yn gywir, yn rhesymegol ac yn fanwl.
Ateba yn Gymraeg.

Yna rhowch gynnig ar rywbeth fel:

Beth yw prifddinas Cymru?
Ysgrifenna frawddeg fer am y tywydd heddiw.

cyn clicio ar y saeth i fyny:

A dyma’r canlyniad!:

Cofiwch mai model arbrofol cymharol fach yw hwn — disgwyliwch wallau ffeithiol a Chymraeg trwsgl ar brydiau. Y pwynt yw ei fod yn rhedeg yn gyfan gwbl ar eich peiriant chi.

Awgrymiadau

• Cywasgiad: Q4_K_M yw’r rhagosodiad synhwyrol; ewch yn uwch (Q5, Q6) am ychydig mwy o ansawdd ar draul mwy o RAM, ac yn is (Q3) dim ond os yw’r cof yn brin.
• Hyd y cyd-destun: cadwch yn gymedrol (4–8k) — mae cyd-destun hir yn llyncu cof ac yn arafu popeth.
• Ar Mac: os oes fersiwn MLX o fodel ar gael, rhowch flaenoriaeth iddi; a gwiriwch y dangosydd GPU offload bob tro cyn dechrau sgwrsio — mae model sy’n syrthio’n ôl ar y CPU yn gallu llethu’r peiriant.
• Dim ffeiliau GGUF/MLX = “not compatible”: os yw LM Studio yn dweud nad yw model o Hugging Face yn gydnaws, ystyr hynny fel arfer yw nad oes ffeiliau GGUF na MLX yn y repo — chwiliwch am drosiad cymunedol neu troswch y model eich hun gyda llama.cpp.

Datrys problemau: gwall 400 “Failed to initialize samplers”

Os gwelwch wall 400 ysbeidiol Failed to initialize samplers: std::exception wrth ddefnyddio’r gweinydd lleol, peidiwch â gofidio, nam hysbys yn injan llama.cpp yw hwn (nid problem gyda’r model Cymraeg), wedi’i olrhain i lwybr yr allbwn strwythuredig / sgema JSON (gweler llama.cpp#21571). Pethau i roi cynnig arnynt:

• diffodd allbwn strwythuredig (structured output) yn y cais,
• ailosod y preset (nid dim ond y sgwrs) i ragosodiadau LM Studio ar gyfer y model,
• rhoi cynnig ar adeiladiad/ffurfweddiad gwahanol (e.e. adeiladiad i1/imatrix) o’r un repo.

Cloi

Gyda LM Studio gallwch redeg model Cymraeg ar liniadur, am ddim ac all-lein. Mae’n ffordd rwydd o roi modelau Cymraeg yn uniongyrchol yn nwylo pobl — heb fod angen y cwmwl arnynt. Ac mae mwy ar y gweill: mae gwaith ar droed i gyhoeddi fersiwn GGUF o fodel Cymraeg 1B yr Uned Technolegau Iaith (techiaith/llama-3.2-1b-welsh-sft), a fydd yn rhedeg ar beiriannau llai fyth.