Nad polską wersją ChatGPT pracują naukowcy z Politechniki Wrocławskiej. Pierwsza, testowa wersja ma zostać opublikowana już w pierwszej połowie przyszłego roku.
Jednym z kierunków związanych z rozwojem sztucznej inteligencji są wielkie modele językowe. W ostatnim czasie rekordy popularności bije uruchomiony w grudniu 2022 roku ChatGPT. To generatywny transformer językowy stworzony przez firmę OpenAI, który teoretycznie jest w stanie odpowiedzieć na każde zadane mu pytanie, zachowując przy tym wysoką poprawność językową. Znajduje tym samym zastosowanie w edukacji, biznesie i życiu codziennym. „Polską” wersję ChatGPT przygotowują właśnie naukowcy z Politechniki Wrocławskiej.
Badania prowadzi zespół z konsorcjum naukowego CLARIN-PL na Wydziale Informatyki i Telekomunikacji PWr. W ramach konsorcjum stworzono infrastrukturę badawczą wykorzystywaną głównie w obszarach nauk humanistycznych i społecznych. W ostatnich czterech latach naukowcy pracowali nad wieloma zróżnicowanymi bazami danych i bazami do przetwarzania języka naturalnego.
W ten sposób wpisaliśmy się w to, co jest obecnie symbolem sztucznej inteligencji, czyli wielkie modele językowe. Doszliśmy również do wniosku, że konieczne jest stworzenie wielkiego polskiego modelu językowego, który w przyszłości byłby podstawą do opracowania takich rozwiązań jak polski ChatGPT – wyjaśnia dr hab. inż. Maciej Piasecki, koordynator konsorcjum naukowego CLARIN-PL.
W ramach planowanych badań zebrane zostaną wszelkie dostępne zasoby językowe oraz wiedza dotycząca budowy wielkich modeli językowych, a następnie powstanie rozwiązanie, które będzie dostępne dla wszystkich zainteresowanych osób.
W tej chwili modele językowe zaczynają kształtować język, którym się posługujemy. Coraz więcej treści jest generowanych na życzenie użytkownika, a czasem wręcz w jego zastępstwie. Dlatego chcielibyśmy, żeby nasz model bardzo dobrze oddawał specyfikę języka polskiego i pozytywnie na niego oddziaływał – podkreśla prof. Maciej Piasecki. – To ogromne wyzwanie, dlatego chcemy wyjść z inicjatywą utworzenia konsorcjum obejmującego możliwie jak największą liczbę podmiotów naukowych i firm prywatnych. W projekcie współpracujemy już m.in. z Ministerstwem Cyfryzacji i Ośrodkiem Przetwarzania Informacji – Państwowym Instytutem badawczym – dodaje.
Specyfika języka
Opracowanie „polskiej” wersji ChatGPT jest o tyle ważne, że obecnie rozwiązanie stworzone przez firmę OpenAI ciągle nie najlepiej radzi sobie z wieloma elementami związanymi z językiem polskim.
Podejrzewamy, że podczas trenowania ChatGPT nie widział za dużo języka polskiego w stosunku do innych języków. W związku z tym jest duża szansa, że przygotowując odpowiedzi, nadpisuje pewną wiedzę dotyczącą polskiej kultury, obyczajów i faktów danymi z innych języków. W trakcie testów zwróciliśmy uwagę, że dotyczy to zwłaszcza polskiej kultury i historii, popełnia też trochę błędów gramatycznych i stylistycznych – tłumaczy dr inż. Jan Kocoń z Katedry Sztucznej Inteligencji. – W naszym interesie jest, by nad tym panować i mieć kontrolę nad informacjami, które są związane z naszych krajem.
Obecnie we Wrocławskim Centrum Sieciowo-Superkomputerowym kończy się kompletowanie dużej infrastruktury badawczo-rozwojowej, która będzie wykorzystywana do tworzenia wielkiego, polskiego modelu językowego. Kluczowym elementem będzie jeden z pierwszych w naszym kraju superkomputerów wyspecjalizowany w przetwarzaniu języka naturalnego i sztucznej inteligencji.
Kupujemy sprzęt warty prawie 130 mln zł. Składa się na niego m.in. 300 kart graficznych H100, stosowanych do trenowania głębokich sieci neuronowych, ponad 30 petabajtów miejsca na dyskach twardych i petabajt pamięci RAM – wymienia dr inż. Jan Kocoń. – Nie czekaliśmy na ten sprzęt z założonymi rękami. Już teraz mamy zebrane prawie 300 gigabajtów czystego tekstu pochodzącego z różnych źródeł i liczba ta cały czas rośnie. Zatrudniamy też 60 osób przygotowujących instrukcje do tego systemu, przy pomocy których można go stroić pod realizację naszego modelu językowego. Do badań można dołączyć już teraz – podkreśla.
Naukowcy planują, że pierwsza wersja programu trafi do otwartych testów już w pierwszej połowie przyszłego roku.
źródło: PWr