Streści dokumenty, doradzi korzystającym z aplikacji mObywatel i wyszuka potrzebne informacje – taki jest PLLuM, czyli wielki model językowy opracowany przez konsorcjum, którego liderem jest Politechnika Wrocławska. Z rozwiązania polskich naukowców skorzystać może każdy.

PLLuM (Polish Large Language Model) to projekt wielkiego modelu językowego, opartego na technologii sztucznej inteligencji. Pozwala przetwarzać i generować teksty w języku polskim, a jego działanie wesprze rozwój kompetencji cyfrowych oraz innowacje w administracji publicznej i biznesie.

Dla polskich potrzeb

Dr hab. inż. Tomasz Kajdanowicz, prof. uczelni, kierownik Katedry Sztucznej Inteligencji na Wydziale Informatyki i Telekomunikacji nie ma wątpliwości, że stworzenie polskiego modelu było potrzebne i warto dalej go rozwijać. – Możemy dziś korzystać z innych programów, ale pytanie brzmi: czy chcemy, aby polska gospodarka, administracja i nauka były w całości uzależnione od obcych rozwiązań? – pyta naukowiec z Politechniki Wrocławskiej.

Zwraca przy tym uwagę, że dostępne obecnie zagraniczne modele nie są neutralne, a ich rozwój kierowany jest interesami firm spoza Polski, które nie udostępniają informacji o swoich produktach. Tym samym może to prowadzić do filtracji dostarczanych przez nie treści, braku uwzględnienia polskiej perspektywy kulturowej i historycznej.

– Są już badania, które to pokazują. Długofalowy rozwój AI w Polsce, a PLLuM to nie jednorazowy projekt, pociągnie za sobą wiele inwestycji w przyszłe rozwiązania technologiczne, polskich ekspertów i naukowców w tej dziedzinie – podkreśla prof. Kajdanowicz z W4.

Niemal rok ciężkiej pracy

Prace nad PLLuM ruszyły w 2023 r. z inicjatywy naukowców z Politechniki Wrocławskiej, którzy już wcześniej zajmowali się badaniami technologii językowych w ramach projektu CLARIN-PL. W jego ramach powstała np. infrastruktura badawcza wykorzystywana głównie w obszarach nauk humanistycznych i społecznych. W ostatnich pięciu latach badacze pracowali nad wieloma zróżnicowanymi bazami danych i narzędziami do przetwarzania języka naturalnego.

Ostatecznie w tworzenie PLLuM, oprócz naukowców z Politechniki Wrocławskiej, zaangażowani byli specjaliści z Instytutu Podstaw Informatyki PAN, Instytutu Slawistyki PAN, Naukowej i Akademickiej Sieć Komputerowej, Ośrodka Przetwarzania Informacji i Uniwersytetu Łódzkiego. Na realizację projektu Ministerstwo Cyfryzacji przeznaczyło ponad 14 mln zł.

– W jedenaście miesięcy zbudowaliśmy całą rodzinę modeli językowych, które służą do przetwarzania języka naturalnego i mają bardzo wiele różnych zastosowań, w tym m.in. w zakresie wydobywania informacji i ograniczonego rozumienia treści – mówi dr hab. inż. Maciej Piasecki, prof. uczelni z Katedry Sztucznej Inteligencji Politechniki Wrocławskiej, koordynator projektu.

– Stworzyliśmy również specjalną wersją modelu, która potrafi odpowiadać na pytania w oparciu o dowolną bazę dokumentów. Był on już testowany przez Ministerstwo Cyfryzacji, informując o rzeczach związanych z instytucjami publicznymi, a szczególnie o tym, co jest dostępne w ramach aplikacji mObywatel. Osiągnął przy tym bardzo wysoką skuteczność  – dodaje.

Model czatbota został już udostępniony w formie przeglądarkowej na http://pllum.clarin-pl.eu/, gdzie każdy może go przetestować.

Polski model językowy jest dostępny w wielu wersjach, umożliwia elastyczne i skalowalne dopasowanie do potrzeb – wykorzystuje od 8 do 70 miliardów parametrów. Pozwala na precyzyjne generowanie treści w języku polskim. Mniejsze wersje dobrze sprawdzają się w szybkich zadaniach, podczas gdy większe modele oferują wyższą precyzję i kontekstową spójność w rozumieniu języka polskiego.

– Należy podkreślić, że nie budowaliśmy PLLuM, by konkurować z już istniejącymi modelami językowymi, ale jako nasz autorski, polski silnik, nad którym mamy pełną kontrolę i dokładnie wiemy, co zawiera. Dodatkowo mamy też pełną kontrolę nad procesem jego budowania, dostosowania i wdrażania. Dzięki temu nasze instytucje publiczne i firmy mogą być pewne bezpieczeństwa swoich danych. Pracując nad tym rozwiązaniem zdobyliśmy również ogromną wiedzę, która na pewno zaprocentuje w przyszłości – zaznacza prof. Piasecki.

Wyjątkowa przejrzystość

Wersje do użytku komercyjnego wykorzystują zasoby tekstowe od właścicieli, którzy udzielili licencji konsorcjum, a także zasoby, które mogą być wykorzystane do budowy w pełni otwartego modelu. Modele naukowe korzystają także z ogólnodostępnych zbiorów danych, takich jak Common Crawl.

– Nasz model jest bardzo przejrzysty pod względem prawnym i to sprawia, że jest wyjątkowy. Nie znam drugiego takiego rozwiązania. Przy jego tworzeniu nie szliśmy na skróty, wykonaliśmy mnóstwo analiz prawnych, współpracowaliśmy też z Ministerstwem Sprawiedliwości i jesteśmy pewni, że wszystkie dane wykorzystujemy zgodnie z obowiązującym prawem – podkreśla prof. Piasecki.

Na tle innych modeli językowych PLLuM wyróżnia się także tym, że jest dostosowany do specyfiki języka polskiego oraz terminologii administracji publicznej. Korzysta z danych opracowywanych ręcznie, a nie przy użyciu innych modeli językowych. W sumie naukowcy stworzyli ponad 50 tys. ręcznie sformułowanych instrukcji do trenowania modeli i ok. 130 tys. tzw. preferencji, czyli przykładów rozmów przygotowanych przez osoby w różnym wieku.

– Dzięki temu trenowany na polskich zasobach model bardzo dobrze radzi sobie z fleksją i złożoną składnią, a wszystko po to, żeby otrzymywane odpowiedzi były jak najbardziej precyzyjne i naturalne – dodaje prof. Piasecki.

Czas na etap numer dwa

Kontynuacja projektu PLLuM nosi nazwę HIVE AI i będzie koordynowana przez Naukową i Akademicką Sieć Komputerową – Państwowy Instytut Badawczy. Oprócz Politechniki Wrocławskiej w jego realizację będą zaangażowane ACK CYFRONET AGH, Centralny Ośrodek Informatyki, Instytut Podstaw Informatyki PAN, Instytut Slawistyki PAN, Ośrodek Przetwarzania Informacji i Uniwersytet Łódzki.

Na dalszy rozwój projektu Ministerstwo Cyfryzacji przyznało konsorcjum dotację w wysokości 19 mln zł.

W przyszłości PLLuM wesprze użytkowników m.in. w uzyskiwaniu informacji w aplikacji mObywatel, zautomatyzuje przetwarzanie dokumentów, analizę treści, wyszukiwanie informacji i ułatwi rozwój aplikacji edukacyjnych oraz tłumaczeń, co może pomóc choćby nauczycielom i nauczycielkom w prowadzeniu lekcji z użyciem najnowszych technologii.

Program HIVE AI będzie się składać z czterech etapów: budowy korpusów danych językowych do bazowego treningu, treningów dużych modeli językowych, ewaluacji oraz pilotażowego wdrożenia modeli w sektorze publicznym. Prace potrwają do końca 2025 roku.

mic