W książce „Qualitylandia” Marc-Uwe Klinga jest scena, w której główny bohater, Piotr, rozmawia z androidką o imieniu Kalliope 7.3, pełniącą funkcję e-poetki. Androidka jest autorką popularnej powieści historycznej „Praktykantka i prezydent”. Kalliope tłumaczy bohaterowi „Qualitylandii” czym są powieści; według niej to po prostu ”zestawienie wielu słów w taki sposób, żeby wyszła z tego historia.” Jak dodaje e-poetka:

Czy możemy się obawiać, że już niedługo utopijny pomysł Klinga zostanie wcielony w życie? Jak dowodzą naukowcy i inżynierowie pracujący przy projekcie generatora tekstu GPT-3, jest to scenariusz możliwy do zrealizowania.

OpenAI, czyli firma stworzona przez Elona Muska

Algorytm GPT-3 powstał w zajmującej się zagadnieniami sztucznej inteligencji firmie OpenAI. Firmie, której współzałożycielami byli wizjoner technologiczny Elon Musk (odszedł z OpenAI w 2018 roku) wraz z programistą i inwestorem Samem Altmanem. Zespołem robotyki kieruje Polak, Wojciech Zaremba. Wśród korporacji wspierających pracę OpenAI jest między innymi Microsoft, który niedawno wsparł startup potężnym superkomputerem, zasilanym przez 285 tys. procesorów i 10 tys. procesorów graficznych. Jednym z najważniejszych zadań, jakie stawia przed sobą przedsiębiorstwo, jest stworzenie algorytmu, będącego modelem jak najdokładniejszego przetwarzania języka naturalnego.  

Rewolucja w przetwarzaniu tekstu

Algorytm jest szkolony metodą „uczenia się w kontekście”. Jak każdy model sztucznej inteligencji, również GPT-3 szuka powtarzalnych wzorów w zestawie danych, aby przewidzieć najbardziej prawdopodobną informację. Podobny mechanizm możemy zaobserwować w wyszukiwarkach internetowych, które automatycznie uzupełniają o swoją propozycję wprowadzone przez nas hasło, a także w programach, które same poprawiają literówki we wpisywanym tekście. GPT-3 od innych tego typu modeli wyróżnia liczba wykorzystanych danych. Najnowsze dzieło firmy OpenAI w swojej bazie danych posiada ponad 175 miliardów parametrów, na których operuje w trakcie swoich obliczeń. Są to petabajty danych, wśród których są wykorzystywane przez programistów bazy danych BOOKS1 i BOOKS2 oraz anglojęzyczna Wikipedia. Aż 60% danych pochodziło ze zbioru udostępnionego przez Common Crawl, czyli organizację zajmującą się indeksowaniem całej sieci internetowej. Warto zauważyć, że proces uczenia się danych przez GPT-3 był procesem nienadzorowanym, co oznacza, że wprowadzone do niego dane pozbawione były etykiet i wartościowania, co ma w większym stopniu przypominać proces uczenia się przez człowieka.

Szerokie grono programistów miało okazję testować GPT-3. Wśród stworzonych przez nich aplikacji można znaleźć między innymi wyszukiwarkę, która zamiast odsyłać do stron internetowych, daje kilkuzdaniowe odpowiedzi, bota umożliwiającego rozmowę z postaciami historycznymi, a nawet… generator gitarowych tabulatur do piosenek fikcyjnego artysty. Innym z zaproponowanych zastosowań GPT-3 jest również internetowa poradnia medyczna, która oprócz odpowiedzi na najprostsze pytania z zakresu ochrony zdrowia odsyła również do stojącej za nimi wiedzy medycznej.

Guitar tab generated by GPT-3 from a fictional song title and artist. pic.twitter.com/ZTXuEcpMUV

— Amanda Askell (@AmandaAskell) July 16, 2020

Artykuły i książki od sztucznej inteligencji?

Amerykański dziennikarz Gwern Branwen stworzył zaś generator literatury. Za jego pomocą algorytm GPT-3 potrafi stworzyć próbki literackie zbliżone poziomem do tych tworznych przez ludzi. Program potrafi nie tylko skopiować styl autora, ale również radzi sobie z działaniami abstrakcyjnymi, takimi jak parodiowanie maniery pisarskiej czy wplatanie elementów humorystycznych – czyli uzupełnia suchy, informacyjny tekst o to, co do tej pory mogliśmy nazywać pierwiastkiem ludzkim w literaturze. Jakie udało się Branwenowi osiągnać efekty, można zobaczyć na tej stronie. Jednym z dzieł, których próbował „nauczyć” algorytm, była „Cyberiada” Stanisława Lema. Dzięki zabiegom amerykanina, stworzony na bazie GPT-3 program tworzył teksty zbliżone do pisarstwa Lema. Potrafił również, na bazie zamieszczonego w „Cyberiadzie” wiersza miłosnego napisanego za pomocą matematycznej algebry tensorów, stworzyć własny poemat. Stylistycznie i treściowo nawiązujący do wiersza Lema. Oprócz polskiego mistrza literatury science-fiction, algorytm potrafił również stworzyć wiersze na podstawie klasyków literatury: Szekspira, Sylvii Plath, T.S. Eliota i Emily Dickinson.

Należy wspomnieć, że sam algorytm nie jest pozbawiony wad. Tak jak jego wcześniejsze wersje, GPT-2 i GPT-1, w efekcie zasilenia jego bazy przez suche dane, bez etykiet, jest podatny na stereotypy. Algorytm powtarza informacje nie zważając na to, czy są wśród nich nieprawdziwe treści (tzw. fake newsy), a tworząc własne komunikaty może zaszczepiać w nich elementy mowy nienawiści czy seksistowskie i rasistowskie określenia. 

Czego możemy się spodziewać w przyszłości? Już niedługo, po zakończeniu fazy testów, produkt firmy OpenAI ma być dostępny do komercyjnego wykorzystania. Dzięki ogromnym możliwościom uczenia się kontekstowego można się spodziewać, że coraz częściej będziemy w internecie napotykali na stworzone za jego pomocą artykuły.

Jak pokazują badacze mający styczność z algorytmem, napisane przez GPT-3 teksty są bardzo trudne do odróżnienia od tych pisanych ludzką ręką. Jak podaje portal The Verge, firma Microsoft już zapowiedziała zwolnienie części swoich dziennikarzy, pracujacych w redakcjach portali MSN i publikujących treści w przeglądarce Microsoft Edge, decydując, by zastąpiła ich sztuczna inteligencja. Czy doczekamy się również książek pisanych przez sztuczną inteligencję (jak w „Qualitylandii”)? I czy będziemy je potrafili odróżnić od tych stworzonych przez prawdziwych pisarzy?

Fotografia otwierająca: pixabay / pexels

[aj]