Projekto apžvalga

„Neurotechnology“ prisidėjo prie „Bendrojo lietuvių kalbos tekstyno kūrimo“, apmokydama ir optimizuodama du vektorizuotus lietuvių kalbos modelius, skirtus naujos kartos dirbtinio intelekto (DI) sprendimams ir skaitmeninėms paslaugoms kurti.

„Neurotechnology“ kartu su Vytauto Didžiojo universitetu (VDU), UAB „Tilde IT“ ir MB „Krilas“ užbaigė nacionalinį projektą, kurio metu sukurtas „Bendrasis lietuvių kalbos tekstynas“ ir du vektorizuoti lietuvių kalbos modeliai. Projekto rezultatas – didelės apimties licencijuotas lietuvių kalbos duomenų rinkinys ir du modeliai, skirti paskatinti tolimesnę dirbtinio intelekto plėtrą lietuvių kalba.

Augant dirbtinio intelekto taikymui, kokybiškų kalbos išteklių prieinamumas tampa būtina sąlyga patikimoms DI sistemoms kurti. Nors didžiosios kalbos naudojasi gausiais duomenų rinkiniais ir iš anksto apmokytais modeliais, mažesnėms kalboms dažnai trūksta išteklių pažangiems DI sprendimams vystyti.

"Šis projektas parodė, kad akademinės bendruomenės ir verslo bendradarbiavimas leidžia kurti sprendimus, kurie yra reikšmingi visai Lietuvai. Naujieji kalbos ištekliai ir modeliai bus naudingi tiek mokslininkams, tiek organizacijoms, kuriančioms dirbtinio intelekto sprendimus lietuvių kalba." Dr. Andrius Utka
Vytauto Didžiojo universiteto Humanitarinių mokslų fakulteto docentas

Projekte „Neurotechnology“ buvo atsakinga už kalbos modelių apmokymą ir optimizavimą. Įmonės natūralios kalbos apdorojimo komanda vertino modelių architektūras, optimizavo apmokymo metodikas ir sukūrė pakartotinai naudojamas technologijas, kurios galės būti naudojamos ateityje.

Efektyvaus kalbos modelio sukūrimas reikalauja tiek kokybiškų lingvistinių duomenų, tiek didelių skaičiavimo pajėgumų. Peržengusi eksperimentinį etapą, komanda apmokymui ir optimizavimui skyrė itin didelius resursus, sukonstravusi du skirtingų klasių modelius:

1. Didysis kalbos modelis (LLM)
   • Architektūra: generatyvinis DI modelis, sukurtas remiantis „Llama 3“ architektūros principais.
   • Modelio dydis: apie 1,04 mlrd. parametrų.
   • Duomenų panaudojimas: apmokytas nuo nulio, naudojant visą Bendrojo lietuvių kalbos tekstyno medžiagą (3,9 mlrd. žodžių).
   • Apmokymo trukmė: beveik 1 920 valandų nenutrūkstamo mokymo.
   • Techniniai ypatumai: sukurtas visiškai nuo nulio, be išankstinių žinių. Modelis apima specialiai lietuvių kalbai pritaikytą tokenizatorių ir gali apdoroti didelės apimties failus bei ilgus dokumentus.
2. Maskuotosios kalbos modelis (MLM)
   • Architektūra: teksto analizės modelis, skirtas paieškai, rikiavimui ir teksto analizei.
   • Modelio dydis: apie 200 mln. parametrų.
   • Duomenų panaudojimas: apmokytas naudojant dalį tekstyno – 1,87 mlrd. žodžių, arba maždaug pusę visos medžiagos.
   • Apmokymo trukmė: 210 valandų.
   • Techniniai ypatumai: naudoja specialų įrankį, skirtą sudėtingai lietuvių kalbos gramatinei sandarai atpažinti. Modelis pasižymi tikslumu ir gerai analizuoja ilgas teksto ištraukas.

"Lietuvių kalba pasižymi sudėtinga gramatine sandara, todėl negalėjome tiesiog pritaikyti jau egzistuojančių metodų. Kūrėme ir optimizavome modelius taip, kad jie perprastų lietuvių kalbos struktūrą ir galėtų būti naudojami skirtingiems dirbtinio intelekto sprendimams." Artūras Nakvosas
„Neurotechnology“ Natūralios kalbos apdorojimo skyriaus techninis vadovas

Tekstyno ir modelių patikimumą bei tinkamumą realioms užduotims įvertino projekto partnerė MB „Krilas“, atlikusi išsamią validaciją ir testavimą. Tekstynas buvo tikrinamas keliais aspektais: vertinta jo apimtis ir reprezentatyvumas, taip pat kalbinė kokybė, temų bei stilių įvairovė, ar jame nėra šališko, diskriminuojančio turinio bei privačių asmens duomenų.

Modelio gebėjimai buvo patikrinti praktine užduotimi – lietuviškų tekstų santraukų kūrimu. Atskirai vertinta, kaip gerai modelis įsisavino lietuvių kalbą, ar negeneruoja klaidingos ar prasimanytos informacijos ir ar išlieka nešališkas.

Projekto metu nustatyta, kad tekstynas yra kokybiškas, subalansuotas ir saugus naudoti, o modelis lietuvių kalbą įsisavino gerai – generuoja sklandų ir daugeliu atvejų faktiškai teisingą tekstą, todėl yra tinkamas pritaikyti realių problemų sprendimui.

Modelio patikimumas buvo matuojamas Perplexity (liet., maišatis) metrika, rodančia, kiek modelis yra „pasimetęs“, t. y., ar prasmingai nuspėja kitą žodį žodžių sekoje (kuo Perplexity rodiklis yra mažesnis, tuo modelis laikomas tikslesniu). Buvo eksperimentuota su skirtingo dydžio teksto fragmentais (trumpi, vidutiniai, ilgi) siekiant įvertinti, kaip modelio tikslumą veikia teksto apimtis ir kaip pasiekti geriausią Perplexity metriką.

Dėl tokio nuoseklaus ir kruopštaus eksperimento pavyko gauti geriausią Perplexity rezultatą, pranokstantį visus iki tol buvusius lietuvių kalbos modelius.

Be pagrindinių modelių, projektas palieka ir pakartotinai naudojamą apmokymo metodiką, įskaitant specialiai lietuvių kalbai pritaikytą tokenizatorių. Tokenizatorius – tai metodas, kurio metu tekstas yra suskaidomas į mažiausius reikšminius vienetus.

"Mūsų komanda skyrė daug laiko ir pastangų, kad būtų užtikrintas sklandus ir patikimas modelio veikimas. Norime pagerinti sąlygas DI sprendimams lietuvių kalba kurti, kad visuomenei būtų prieinami patogūs, modernūs įrankiai, o skaitmeninių paslaugų kokybė Lietuvoje galėtų toliau augti." Vytas Mulevičius
Natūralios kalbos apdorojimo komandos vadovas, „Neurotechnology“

Bendrasis lietuvių kalbos tekstynas buvo sudarytas iš grožinės ir negrožinės literatūros, žiniasklaidos, sakytinės kalbos bei dokumentų tekstų, kuriuos surinko Vytauto Didžiojo universitetas ir UAB „Tilde IT“. Prie duomenų rinkimo prisidėjo ir gausybė žiniasklaidos bei kultūros partnerių, tarp jų DELFI, LRT.lt, „Vakarų ekspresas“, Lrytas.lt, „Švenčionių kraštas“, Gargždai.lt, „Sena.lt“, AutoGidas.lt, 15min, Bernardinai.lt, „Humanitarų meka“, ELTA, BNS, „Kas vyksta Kaune“, VDA ir kiti duomenų tiekėjai.

Sukurti modeliai ir metodika atveria kelią tokiems praktiniams pritaikymams kaip išmani semantinė paieška, virtualūs asistentai, klientų aptarnavimo automatizavimas, dokumentų paieška bei automatizuotas dokumentų apdorojimas lietuvių kalba.

Visi projekto rezultatai – atvirojo kodo DI modeliai ir tekstynas – laisvai prieinami „Hugging Face“ platformoje, o pats tekstynas taip pat pasiekiamas per CLARIN-LT platformą.

Projektą įgyvendino Valstybės skaitmeninių sprendimų agentūra (VSSA); jį vykdė Vytauto Didžiojo universiteto vadovaujamas keturių partnerių konsorciumas – Vytauto Didžiojo universitetas, UAB „Neurotechnology“, UAB „Tilde IT“ ir MB „Krilas“. Projektas truko nuo 2024 m. gruodžio iki 2026 m. balandžio.