Y Droell Drychineb!

Yn rhifyn 1 y gyfres hon, gwelsom fod y Gymraeg yn brin o ddata o ansawdd — a bod yr Argyfwng Tocynnau yn bygwth ieithoedd llai yn fwy na neb. Ond beth fyddai’n digwydd pe bai ansawdd yr ychydig ddata sydd yn cael eu creu yn dechrau dirywio hefyd? Dyma le daw cysyniad newydd i’r fei: y Droell Drychineb (Doom Spiral yn Saesneg).

Mae Judah [1] yn disgrifio’r droell drychineb. Mae’n dangos sut mae cynnwys a gynhyrchir gan DA neu a gyfieithir gan beiriant yn cael ei ychwanegu fwyfwy at ffynonellau gwybodaeth gyhoeddus fel Wicipedia, yn enwedig mewn ieithoedd llai neu ieithoedd bregus. Yn aml nid oes gan y cymunedau ieithoedd mwyaf bregus dîm golygyddol enfawr, felly gall y wybodaeth gynnwys iaith ddiwylliannol anaddas neu ogwyddiadau. Nid yw hyn o reidrwydd yn wir am Wicipedia Cymraeg, wrth gwrs. Fodd bynnag, anodd yw dadlau nad yw cynnwys sydd wedi ei gyfieithu i’r Gymraeg yn fecanyddol neu sydd wedi ei greu gan DA yn ymddangos ar y we. Mae’n eithaf posib fod y testunau yna yn llawn gogwydd ac ystrydeb ac ati. Y broblem yw bod y cynnwys hwn wedyn yn cael ei grafu i hyfforddi systemau DA’r dyfodol, sy’n golygu bod gwallau, camddealltwriaeth ac ystumiadau diwylliannol yn cael eu bwydo’n ôl i’r genhedlaeth nesaf o fodelau. Mae’r broses yn bwydo arni hi ei hun. Mae pob cylchred yn mwyhau’r ystumio — dyma’r Droell Drychineb.

Pen draw’r gwaethygu iteraidd yw rhywbeth a elwir yn Gwymp Model (neu Model Collapse yn Saesneg). Mae Cwymp Model yn digwydd pan fydd systemau DA yn cael eu hyfforddi fwyfwy ar eu hallbynnau eu hunain yn hytrach na data amrywiol o’r byd go iawn. Dros amser, maent yn colli’r gallu i gynrychioli ffenomenau prin neu gymhleth ac yn cael eu “gwenwyno” gan eu golwg gul o realiti [2]. Maent yn cwympo. Yn marw.

Druan o’r modelau — er mae’r goblygiadau i gymunedau iaith ddynol a chymunedau diwylliannol yn llawer mwy difrifol.

“The spiralling decent” gan sagesolar wedi ei drwyddedi dan CC BY 2.0 .

Y perygl yw, wrth i’r model droelli, a chyn bo’r model yn marw yn gyfan gwbl, gall yr allbwn gwael ddatblygu i fod yn ffurf ddominyddol ar yr iaith ar-lein, nid oherwydd ei bod yn adlewyrchu’r ffordd y mae pobl yn defnyddio’r iaith, ond oherwydd ei bod yn hawdd i beiriant ei gynhyrchu.

Ydyn ni’n gwybod sut byddai hyn yn edrych yn y pendraw? Wel, ydyn, diolch i arbrawf gan Hintze et al. [3]! Wnaethon nhw gysylltu un system DA oedd yn creu lluniau wedi ei seilio ar brompt testunol gyda system oedd yn creu testun wedi ei seilio ar lun. Yna, ar ôl darparu testun cychwynnol, wnaethon nhw gadael i’r systemau ‘gyfathrebu’ gyda’i gilydd troeon, gan adael i’r un system greu allbwn wedi ei seilio ar allbwn y llall, heb unrhyw fewnbwn dynol ychwanegol. A beth ddigwyddodd? Wel ar ôl nifer o iteriadau, dechreuodd y systemau greu lluniau generig tu hwnt, lluniau pert o oleudai ac eglwysi cadeiriol ac ati, waeth beth oedd y testun gwreiddiol! Diddorol iawn, ond yn destun pryder hefyd. Yn ôl Hintze et al.:

“The implication extends far beyond art generation. Many new AI applications use similar self-referential loops. If left unchecked, these systems could amplify the biases and redundancies already present in large datasets, reinforcing aesthetic and cultural uniformity.” [3]

Maen nhw’n awgrymu y gallwn ddefnyddio dwy system DA fel yn eu harbrawf nhw i ddatguddio gogwydd mewn data hyfforddi, sydd yn amlwg yn dda o beth. Ond am nawr, erys y pryderon o ran gogwydd, ansawdd, a’r effaith negyddol ar ddiwylliant. A hyn yn enwedig o ystyried, yn aml, nad oes gan gymunedau diwylliannol yr effeithir arnynt lawer o reolaeth dros ba destun sy’n cael ei ddefnyddio at hyfforddi, heb sôn am y broses hunangyfeiriol na’r Droell Drychineb.

O ystyried y tueddiadau pryderus hyn, byddai’n dda pe gallem adnabod gogwydd yn rhwydd. Ond sut allwn ni ei dileu yn y lle cyntaf? Gall cynhwysiant fod yn fan cychwyn. Ond mwy am hynny yn y blog nesaf! Tan toc!

Llyfryddiaeth

[1] Judah, J. (2025). “How AI and Wikipedia have sent vulnerable languages into a doom spiral.” Adalwyd 01/12/25, o https://www.technologyreview.com/2025/09/25/1124005/ai-wikipedia-vulnerable-languages-doom-spiral.
[2] Shumailov, I., Z. Shumaylov, Y. Zhao, Y. Gal, N. Papernot ac R. Anderson (2024). The Curse of Recursion: Training on Generated Data Makes Models Forget.
[3] Hintze, A., F. Åström a J. Schossau (2025). “Autonomous language-image generation loops converge to generic visual motifs.” Patterns 7: 101451.