Grind Grind #3
Po co Polsce własny LLM, skoro mamy ChatGPT?
O odcinku
Bielik! Każdy o nim słyszał, niektórzy go nawet widzieli. Polacy nie gęsi i mają swoje AI. Ale skąd? Po co? Czy nie wystarczy nam ChatGPT, Anthropic, Mistral i DeepSeek? Czy my potrafimy zrobić LLMa?
Okazało się, że jest grupa ludzi, która uważa, że potrzebujemy takiego modelu i go stworzyła. Co ciekawsze, nie jako rządowy projekt czy zryw narodowy ale jako projekt społecznościowy.
‼️ WAŻNE‼️ Zespół pracujący na Bielikiem, uruchomił Patronite - wsprzyjcie ich, bo robia to dla mnie, dla Ciebie i dla wszystkich innych jako społeczność - https://patronite.pl/speakleash
Czym jest Bielik? Jak powstał i skąd wziął się pomysł? Czy wymagał setek tysięcy GPU a jeżeli tak to skąd się one wzieły?
O tym wszystkim i również o tym, że najważniejsze to jest "zrobić" a nie "mówić, że się zrobi" rozmawiamy w Grind z Sebastianem Kondrackim.
🔗 Rozdziały:
00:00:00 - Intro
00:03:30 - AI vs Machine Learning
00:06:40 - SpeakLeash - początki
00:11:27 - Team SpeakLeasha
00:14:43 - Brak polskich LLMów
00:18:47 - Jak zebrać dane?
00:25:32 - Jak zrobić swojego LLMa?
00:25:59 - Moc obliczeniowa
00:30:14 - Pierwsze treningi modelu
00:38:42 - Benchmarki i areny
00:43:04 - Narodziny Bielika
00:46:36 - SLM - Small Language Model
00:48:35 - Co z kolejnymi Bielikami?
00:51:11 - Czy będzie więcej danych?
00:55:30 - Multimodalność
00:57:44 - Czy jest sens polskich modeli?
01:01:07 - Obywatelskie zbieranie danych
01:05:01 - Legal, compliance i polskie LLMy
01:08:46 - Komercyjne użycie Bielika
01:12:47 - Plany na przyszłość
01:20:07 - Jak pomóc Bielikowi?
01:23:18 - Orzeł wylądował - Outro
🔗 Linki:
Patronite SpeakLeash - https://patronite.pl/speakleash
Strona Bielika - https://bielik.ai/
Strona SpeakLeash - http://speakleash.org/
Discord SpeakLeash - https://discord.gg/ZJwCMrxwT7
Profil Sebastiana - https://www.linkedin.com/in/sebastian-kondracki/
Transkrypcja
Brak wyników.
nie wiem na ile mogę zdrać w ogóle tajemnic naszego zespołu dajesz nic nic nie opublikujemy [Muzyka] dobrze ten dzień musiał nadejść działo się dużo robiliśmy różne zabiegi ale jest będzie dzisiaj odcinek o bieliku czyli Widziałem orła cień mamy dzisiaj gościa bo tak jest Formuła którego przepytam w temacie wpiszemy się tym samym w Trend Ai ale zanim przejdziemy do Ai i zadam pierwsze pytanie na rozgrzewkę to przedstawię krótko i jeszcze oddam głos dzisiaj z nami jest Sebastian Kondracki Żeby było jasne ja tu jestem zbi bo ja z Sebastianem to się znam Od 2001 roku pewnie on wtedy wyprzedził wszystko i nazwał swoją firmę pyton ludzie jaja Teraz są zazdrośni robił wiele rzeczy po drodze tam nawet takie bardzo ciekawe jak próbował zdigitalizować koski ruchu nie i dlatego koski ruchu padły i kupiła inna firma w tej chwili jest Chief innovation officer w firmie takiej która nazywa się Divinity to Divinity to też znamy się od
2001 roku bo kiedyś nazywali się pyton No pazy oko ale kiedyś jak będziemy chcieli się dowiedzieć dlaczego jira nie działa to zaprosimy Piotrka z Divinity i on nam powie bez żadnego hejtu i tak dalej fajna firma polecam duża i w ogóle ciekawa jak ktoś nie siedzi w atach to ich nie zna ale nie o tym będzie oprócz tego Sebastian Kondracki jest Top Link a Voice i founder of speak Sebastian pominąłem coś nie ale muszę sprostować nie wiem czy fajnie jest rozpoczynać Hej cześć wszystkim rozpoczynać rozmowę od sprostowania ale muszę sprostować nazwa była od pytania online ale troszeczkę zahacza in bo to chodziło że Wła przetwarzanie języka naturalnego chcieliśmy zrobić zrewolucjonizować więc pytania online Żeby było jasne i drugie że jednak pyton nie był początkiem ponie pracowali rzeczywiście założyciele deity ale jednak tu nie ma takiego połączenia że nagle Trę inoga i ści odkąd jazdam Sebastiana i dlatego jestem bajas to on zawsze wymyśla i robi ciekawe rzeczy nie na przykład kiedyś
rozmawialiśmy o tym jak powstała nazwa w ogóle firmy Divinity i zrobił skrypt który generował wszystkie możliwe nazwy do których są wolne domeny taki człowiek który tak podchodzi do życia nie ale znów będę prostował dzisiaj to nie wiem czy to pójdzie będziemy wycinać ale rzeczywiście stworzyłem skrypt który tworzy nazwy takie ciekawe wywine zresztą to czasami generatorach haseł jest takie wywine różne rzeczy i sprawdza od razu domenę kom bo na tym nam zależała ale ten skrypt nie wybrał tej nazwy deity bo to już tak to był już ludzki to też pokazuje że sztuczna inteligencja czasami przegrywa właśnie z jakimś takim ludzką inteligencją ale akurat też nie było sztucznej inteligencji Dobra już nie Prostuj teraz cokolwiek powiesz prostu to ja mam pytanie na rozgrzewkę słuchajcie bo mnie zawsze interesuje Wiesz mówi się że Ai jest Powerpoint a ma learning jest tym co się faktycznie robi więc moje pytanie na rozgrzewkę jest takie Jaka jest dla ciebie różnica pomiędzy uczeniem maszynowym a sztucznym inteligencją o to znaczy rzeczywiście sztuczna inteligencja jest pojęciem
bardziej rozległym bo jeszcze jest ta ta stara taka symboliczna klasyczna właśnie sztuczna inteligencja Machine learning to jednak już jest czysto uczenie maszynowe Ja bardzo lubię definicje W ogóle sztucznej inteligencji takie nie powiem to teraz Tomek która gdzieś Unia prowadzi tą definicję że tak powiem wprowadziła że jednak gdzieś sztuczna inteligencja to nadawanie maszynom czy też systemom komputerom jakiś ludzkich ludzkich procesów czy to jest uczenie właśnie jak w mas learningu ale czasami kreatywność ale czasami jeszcze inne właśnie tak tak nasze specjalizacje więc wydaje mi się że właśnie ta sztuczna inteligencja mówimy trochę szerzej to to może być podejmowanie decyzji to może właśnie być kreatywność to może być właśnie wiele innych rzeczy niż tylko uczenie maszynowe i szukanie pewnych wzorców więc myślę że ta różnica jest w tym no i tam właśnie są są też jeszcze inne techniki myślę że też właśnie w sztucznej inteligencji są wszelkie też algorytmy hybrydowe które połączenie różnych technik że nie tylko właśnie uczenie maszynowe właśnie po to żeby zwiększyć tą tą tą kreatywność jak nawet spojrzymy sobie na sieci Gan które były jakimś No właśnie pytanie czy
sieci Gan to zaczęły tą teorią gier bardziej niż rywalizacją gdzie dwie dwie różne sieci zaczynają z sobą konkurować jedna generuje obrazy a druga jakby sprawdza czy czy one są na tyle naturalne gdzieś dyskryminuje to znaczy może nie dyskryminuje ale właśnie gdzieś walczy z tą drugą siecią Rywalizuje więc myślę że ta sztuczna inteligencja to właśnie jest to nie tylko uczenie ale też inne właśnie wyobraźnia kreatywność podejmowanie decyzji nie wiedziałem że Unia Europejska i to wyregulował ale okazuje się że no dobrze Tak rzeczywiście Przejdźmy w stronę naszego tematu głównego bo po to się spotkaliśmy Mam pytanie czy projekt zmienia nazwę na Głęboka Biel w tym tygodniu dobra wiem do czego chyba ten nie my już mamy w ogóle taką głęboką
nazwę już samą z siebie bielik w ogóle Narodowy pierwszy i patriotyczny że nie musimy zmieniać właśnie na na tym ale rzeczywiście to co pokaz pokazali Chińczycy z jednej strony choć chociaż ja cały czas do tego przejdziemy ale nie zi Dobra nie zmieniamy na Głęboka zmieniacie to powiedz czym jest bielik tu są takie dwa elementy w ogóle dlaczego powstał bielik tak z jednej strony z jednej strony społeczności bielich tych weteranach Można tak powiedzieć bo teraz mamy 1700 osób w społeczności przy czym różna jest rola tych osób bo część osób komentuje część osób pracuje nad zestawami danych część osób gdzieś w biznesie działa to znaczy w biznesie promuje nas prowadzi komunikację ale rzeczywiście jest taka część Weteranów która też właśnie jest tym głównym zespołem też trenującym to myśmy byli osobami które były naj z biznesu i rzeczywiście kiedy pojawiły się pierwsze modele Open aow zauważyliśmy że o świetnie je by można było użyć ale czasami nie można ich użyć chodzi tu o przede wszystkim jakieś
organizacje regulowane czyli tam gdzie gdzie jest tajemnica Bankowa tajemnica pacjenta tajemnica adwokacka nagle okazuje się że że rzeczywiście te modele nie za bardzo mogliśmy użyć to to był pierwszy problem drugi problem to był taki że te pierwsze modele znów zamknięte Open jajowe miały jednak problemy z z takim czystym językiem polskim one do dziś mają Mówiąc szczerze jak se wygeneruje na przykład jakiś kawałek notki gdzieś na media społecznościowe to oni bardzo często stosują taki anglosaski sposób nazywanie śród tytułów czyli kapitalikami czyli jest wszystko z wielkiej lub dużej litery nigdy nie Rozróżniam który która jest dobra forma i do dziś to ma Cat GPT i ja bardzo często Rozpoznaję kto wygenerował w czacie GPT jakiś tekst kiedy on ma takie anglosaskie nawyki i trzecią rzeczą no od początku właśnie modele zamknięte były rozliczane per token tak to znaczy jak my używamy cata GPT to my płacimy jakąś miesięczną opłatę ale już Jeśli chcemy używać go przez API czyli kiedy nasza nasze
systemy aplikacje chcą rozmawiać z tym catem to my Rozliczamy się za token token to coś więcej niż sylaba mniej niż słowo No i teraz się okazuje że jak my sobie tam Damy prosty tekst na przykład Sklasyfikuj nam kawałek tekstu no to na rachunku Open tam pokazuje się 00 dolara więc mówimy o super jest dobrze ale jak sobie przepuścimy na przykład wszystkie dokumenty które gdzieś pojawiają się w naszej firmie kiedy przepuścimy przez nie wszystkie kody które gdzieś tworzymy w naszej firmie kiedy nie wiem już zaczynamy maile przepuszczać to nagle te rachunki są przeogromne I to właśnie były te trzy rzeczy które gdzieś stwierdziliśmy że może warto stworzyć własny model a wtedy jeszcze nie myśleliśmy tak całkowicie o modelu ale przede wszystkim mówiliśmy najpierw masa później rzeźba czyli stwierdziliśmy że chcemy zebrać polskie zestawy danych tekstowych że ktoś ten model trenował A my mu pomożemy bo No jeszcze nie widzieliśmy tej możliwości zwłaszcza pod kątem GPU I to jest właśnie ta grupa zapaleńców I jeszcze był jeszcze jeden element taki który
myślę że wam będzie też bardzo bliski że jak zaczęliśmy sobie analizować robiem taki raport o otwartych danych w Polsce i chciałem sobie przeanalizować wszystkie otwarte Open Source Open w ogóle jakieś projekty polskie to nagle chciałem takie z obszaru sztucznej inteligencji bo No gdzieś tym w tym się poruszam i się okazało że chyba dwa lub trzy są takie otwarte jakieś projekty najczęściej One są bardzo słabo opisane tak jakby ktoś zrobił dotację unijną umieścił w sieci ale tak naprawdę mówi niech nikt tego nie używa bo bo jeszcze będą problemy więc A ja uważam że ten Open Source w Polsce w ogóle leży całkowicie nie tylko Open Source te całe wersje darmowe oprogramowania tak tak jak nie wiem Niemcy Czesi gdzieś mają jakiegoś antywirusa który gdzieś dla kilku osób albo do prywatnego użytku jest za darmo my nie mamy żadnego chyba takiego programu więc bardzo mi zależało żeby stworzyć taką otwartą społeczność i te dwi dwie rzeczy spowodowały że powstał spichlerz tak i pierwsze To właśnie najpierw masa później rzeźba czyli zaczęliśmy się zestawami danych zajmować Porządkuj tutaj bo Tak właśnie
mówił trochę że my że my chcieliśmy mówiliśmy o bieliku czyli potrzebie powstania tego modelu otwartego modelu modelu polskiego Nazwijmy to takiego które adresuje niedoskonałości tych powiedzmy Powiedziałbym modeli generycznych a teraz jeszcze padła nazwa spichlerz więc jakbyś nam to jeszcze mógł przybliżyć co jak się ma spichlerz do samego Bielika i kto to jest tak do końca my dobra to to rzeczywiście spichlerz to jest projekt otwarty czyli taki teraz już Fundacja czyli taki najpierw tylko i wyłącznie organizowaliśmy się na discordzie i na githubie tak i tam właśnie kilka osób zaczęła tworzyć zaczęła tworzyć właśnie zestawy danych stworzyliśmy pakiet dla pytona jak już Tomek od tego zaczął Ale to nie były już pytania online tak już już z literką h więc zaczęliśmy tworzyć pakiet my no ja byłem założycielem najpierw dołączyły do mnie osoby w którymi współpracowałem gdzieś w biznesie więc są na przykład jest jeden kolega Tomku z jeszcze chipa świętej pamięci z którym razem
pracowaliśmy więc dołączył Waldek dołączył Jacek z którym na przykład pracowaliśmy w jednym z banku nad projektem No i kilka osób z mojej firmy to byliśmy my następnie zaczęliśmy bo to też było bardzo ciekawe że jak zaczęliśmy zakładać spichlerz Ja mam bardzo duży background jednak komercyjny Tak więc stwierdziliśmy że mimo że to będzie otwarty projekt to będziemy starać się go wprowadzać na rynek jak startup więc pierwsze co zrobiliśmy to zrobiliśmy prezentację w powerpoincie taki PIT Deck na którym nie mieliśmy nic i powiedzieliśmy halo będziemy robić ogromny Zestaw Danych powyżej 1 terb danych polskich ewidencjonować i poszliśmy w na konferencje na wszelkie różne meetupy wydarzenia i tak dalej i opowiadaliśmy ludziom po tych konferencjach było bardzo ciekawie bo najczęściej Ja stałem i i tłumaczyłem ludziom że to się uda ludzie mówili nie uda No trochę tak jak w startupie taki PIT Deck mieliśmy no i wtedy już zaczęli Dołączać do nas osoby już spoza takiego jakiegoś mojego otoczenia znajomych biznesowych czy też nie to już zaczęli by właśnie data STI to już zaczęli być
osoby Programiści no i tak to zaczęło się właśnie te my to już nie tylko znajomi ale my to już zaczęła być taka społeczność no z całej Polski i z różnych z różnych obszarów No czyli to jest Community de facto to nie są osoby na payrollu którym płaci jakaś konkretna organizacja tylko to jest Community dookoła tego Do niedawna miałem taką romantyczną opowieść że nie mamy konta bankowego nie mamy żadnej prawnej tej organizacji nie jesteśmy ale to już się skończyło bo jesteśmy już fundacją to jest jedna rzecz i drugie mamy konto bankowe więc już koniec tego romantyzmu no i tak to się zaczęło No i właśnie tu jest jeszcze jeden element zostałem zaproszony do podcastu nieliniowy to jest taki podcast o sztucznej inteligencji w ogóle o społeczności sztucznej inteligencji w Polsce i tam właśnie Michał dulemba yyy No nie był to live ale ale jednak zobowiązując pod koniec rozmowy yyy to był tydzień po premierze Blooma Bloom to był taki model który miał być odpowiedzią yyy francuską odpowiedzią a może Europejską bardziej odpowiedzią na modele Open Ai Bloom miał jedną wadę to
znaczy miał tam teraz już nie pamiętam Ile języków naturalnych yyy ale koło 30 40 yyy to Należałoby sprawdzić ale nie miał języka polskiego i nie miał też języka bodajże niemieckiego włoskiego więc to nie było to że my tylko byliśmy wykluczeni ale tych wykluczeń było więcej w Polsce no i wtedy Michał rzucił w eter Sebastian tydzień temu pojawił się Bloom On nie ma języka polskiego to może byś spolonizować może zlokalizował go jakoś w jakiś sposób takie rzucone w eter ja tam pomruczeć łem w eter że postaram się i odezwałem się oczywiście bo BL to jest ciekawe to była inicjatywa hing face Czyli teraz już potentata można powiedzieć Jeśli chodzi o o o w ogóle społeczność i udostępniania modeli takim takim githubem aym to jest więc napisałem do hing Face oczywiście zostałem skierowany do sprzedaży którzy która mi powiedziała nie myślą jeszcze o języku polskim ale zawsze tu przekierowuje ci do zespołu Enterprise i coś może wymyślimy wspólnie prawda handlowego i wtedy wymyśliłem sobie taki ciekawą ciekawą rzecz że na linie
zacząłem od dołu szukać osoby które były w projekcie Big Science czyli tego tego twórców bloa i szukałem sobie Przepraszam że to powiem najniżej członków czyli takich gdzieś tam Stażystów Juniorów bo oni odpowiadali szybko na pozwalali się dodać do swojej sieci i szybko organizacji i i wtedy ja mówiłem Słuchajcie pracowaliście w projekcie Bloom A czy tam moglibyście mi tam do jakiegoś waszego kierownika co tam robiliście I oni mi tam opowiadali co robili i mówili dobra Tu jest taki John który jest kierownikiem był naszym kierownikiem więc kierujemy cię do Johna i już byłem wyżej wyżej wyżej i tak sobie Krążył po tym Internecie i nagle któregoś dnia napisał do mnie już jedna osoba która była dość wysoko w tym projekcie Bloom to był takie skrzyżowanie prawnika z programistą która była odpowiedzialna za wrażliwe dane podczas zestawu trenującego i tak dalej i tak dalej I on powiedział Słuchaj Sebastian takim jesteś szalonym Polakiem który chodzi po tym linkedinie i się wszystkich wypytuje dał mi dużo dostępu do ich narzędzi bo one były otwarte więc sobie popatrzyłem na te narzędzia i mówię jeszcze nie mówimy o trenowaniu
Bielika tylko o w ogóle zbieraniu zestawu danych mówię to nie jest trudne w ogóle a jeszcze mają taki bałagan bym to zrobił inaczej ale on mi przedstawił z takim z takim otwartą społecznością która się nazywa elitera Ai którzy stworzyli GPT neox to był taki otwarty model tylko w języku angielskim to było ważne już całkowicie Open Science społeczność i tam mi poznał z ludźmi i oni powiedzieli prosto taką ofertę prawie biznesową jeśli zbierzesz 1 Tab danych To my ci damy i wy trenujemy wspolnie GPT Nox dla języka polskiego i słowiańskich na przykład i ja wtedy się w ogóle i wtedy już wiedziałem że ten P Deck już trafił od razu dopisali miy do p de że to robimy i stąd to była ta magiczne pierwsze 1 TB danych żeby zabrać Sebastian to ja tutaj wejdę z pytaniem jak zbiera się dane bo Opowiedz może troszeczkę więcej Jak zebrać danych A gdzie też widziałem echa że troszeczkę syntetycznych danych też się pojawiło więc jakbyś mógł powiedzieć jak w ogóle zebrać dane dobra No właśnie jak zebrać
Dan Po pierwsze tych danych trochę jest w Polsce tekstow trochę i to trochę Ja wiem że to jesteśmy w takim technicznym że tak powiem teraz środowisku trochę dziwnie brzmi ale trochę było tych danych tekstowych i to z różnych inicjatyw no przede wszystkim prawne dane bo mamy i pełny portal orzecznictwa sądowego więc wszystkie wyroki zanonimizowane po API są w języku polskim więc już mamy jakieś tam kilkanaście gab bo tu jeszcze jest ważna rzecz ten 1 TB danych czystych danych tekstowych takich plikach TXT więc to to jest duża duża ilość tych danych ale Ale wracając więc trochę tych danych jest orzecznictwo sądów powszechnych pełna legislacja bo wszystkie ustawy są już w pdf-ach są już w HTML więc już też jest lepiej oczywiście nasza nieodżałowana Wikipedia która może nie nieodżałowana ale co którą wszyscy używają która stanowi na przykład w pierwszych modelach GPT To było gdzieś 3 proc w ogóle całego zestawu danych ale mamy tą Wikipedię mamy takie projekty jak Projekt Gutenberg projekt Wolne Lektury i tak dalej i tak dalej więc
trochę tych tekstowych jest mieliśmy mamy cały czas bardzo prężny Wrocławski Wrocławski projekt klarin przy Politechnice Wrocławskiej który też właśnie różne zestawy danych tam sobie polskich robi one były porozrzucane Więc pierwszą rzecz którą myśmy zrobili to myśmy te porozrzucane dane w jednym miejscu a bardziej z jednym dostępem żeby nie nie mieć 30 API i różnych formatów więc pierwsze co zrobiliśmy taki pakiet stworzyliśmy dla Pythona Gdzie w ciągu 10 linijek mogłeś sobie wszystkie dane które są porozrzucane ściągnąć na swój komputer ten pakiet cały czas działa bardzo fajnie Drugą rzeczą ale dobra mamy ten A i uratowaliśmy jeszcze znów jesteśmy technicznie w różnym wieku ale nie wiem czy pamiętacie usnet to był taki na te czasy tak Ja cały czas myślę bo tam były pręgierz tak zwane prawda więc to jest ciekawa rzecz teraz to by już taki kanał hejterski jakby gdzie mogliśmy przyznaje się szczerze że byłem częstym gościem p pręgierz tak jest i myśmy na przykład taki usnet uratowali ponieważ już te serwery
zaczynają być chyba już ostatni Został wyłączony ale do sprawdzenia Myśmy tam się skontaktowali i tam z 20 giga tych tekstów rzutem na taśmę pobraliśmy I teraz uwaga powiem ci Szcze że jestem trochę zaniepokojony tym że używaliście właśnie Przechodzimy Poczekaj Tomku Poczekaj bo nie użyliśmy tych danych bo Przechodzimy właśnie do drugiego punktu to znaczy uratowaliśmy go bo jak jako Archeo musimy mieć takie coś że że kiedyś swoim No chyba nie nie będziemy chcieli dzieciom pokazywać synku córeczko popatrz popatrz co tatuś na tym pręgierzu kiedyś wyprawia prawda ale uratowaliśmy i teraz właśnie drugi element jak zbieramy te dane to to co myśmy stworzyli to zaczęliśmy tworzyć klasyfikatory jakości i i to różnego typu jakości bo czasami te dane pochodzące nieraz z jakichś pdf-ów były strasznej jakości więc nie nadawały się do trenowania pod kątem tym że miały bardzo dużo jakichś zlepek innych rzeczy których które no no nie dało się jakby gdzieś wykorzystać a z drugiej strony też ta jakość o której chyba Tomek teraz właśnie wspominał jakoś że tam był hejt
mowa nienawiści in przekleństwa literówki błędy ortograficzne więc drugą rz wyprostuj to była spuścizna kulturowa naszej cywilizacji ja uważam że gdybyście wytrenować które są tylko i wyłącznie do wykrywania takich treści i przydają się takie takie datas sety też że tak powiem ściekowe i dobra drugim krokiem co myśmy zrobili właśnie to jest klasyfikacja tych tekstów i jeszcze jest trzecie źródło są projekty Jak wiecie 40 proc ruchu albo nawet więcej w internecie to roboty boty i inne różne Scrappy więc jest na przykład projekt który się nazywa common on jest pod opieką AWS i to jest taki backup internetu jakbyśmy chcieli to on właśnie jest do pobrania tylko on jest takim zrzutem po prostu to co serwer ww oddaje Tak więc tam ma wszystko od różnych wyskakujących
okienek po po też jakieś takie nagłówki bym powiedział bardziej techniczne I teraz ten Comon to jest taki scrapping całego internetu który tam backup i myśmy też tą drugą rzecz musieliśmy o filtrować stamtąd rzeczy które które właśnie nie są nie są w języku polskim bo bo i po co A Drugą rzeczą którą musieliśmy zrobić to właśnie troszeczkę sprawdzić już do samego trenowania czy na przykład autor danej strony daje zgodę nie ma żadnych obostrzeń w regulaminie i tak dalej i tak dalej jeszcze przed Ai aktem tak można było robić więc y więc taką rzeczą taką pracę musieliśmy zrobić wszystko zgromadzić w jednym miejscu sklasyfikować popatrzyć jakościowo popatrzeć licencyjny i do każdego takiego zestawu danych U nas jest manifest i w tym manifeście właśnie jest wszystko zapisane że jeśli ty Wojtku Tomku Sebastianie chciałbyś trenować model to możesz bardzo szybko pobrać te dane i bardzo szybko sprawdzić czy możesz trenować chyba że jesteś na przykład jakimś ośrodkiem naukowym prywatny dla siebie tylko model i i nie
musisz się bawić jakimiś licencjami i innymi rzeczami do danych Jeszcze pewnie trochę wrócimy bo bo tu mam parę rzeczy wypisanych natomiast Tak żebyśmy dali też słuchaczom taki pogląd jak się w ogóle llm robi swojego no bo Powiedzmy sobie szczerze wy tego Bielika też nie zrobiliście zupełnie od zera czyli startowali się się na pewnej bazie i też teraz dużo powiedziałeś o zbieraniu danych to też jakbyś powiedział tak grubsza od tej architekturze Czym jest bielik to jest jedna rzecz a druga to te czynności które musieliście to co poza samym tym zbieraniem danych trzeba zrobić żeby taki model stworzyć czyli innymi słow mamy dane i co dalej tak ja jeszcze taki malutki wątek wrzucę zanim właśnie porozmawiamy o o różnych typach jak się trenuje No jak już mamy dane to co dalej to potrzebujemy moc tak to to tu nie będę wchodził że już wszyscy wiedzą że GPU jest potrzebne a nie CPU i wszyscy wiedzą że dużo tego GPU jest potrzebne i ono jest bardzo drogie i to widać po akcjach i tam wartości nvidii i też widać co tam się stało więc mieliśmy dane i zaczęliśmy się zbliżać do 1 tabaj danych Więc już wiedzieliśmy że litera da nam te GPU obiecane i będziemy sobie trenować więc już zaczęliśmy się gdzieś przygotowywać ale coś Wtedy zaczęli oni bardzo mocno
To jest moja teza przegrywać z open aem i zaczęli coraz mniej rozmawiać o trenowaniu nowego GPT neox tak i tak coraz mniej ta te połączenie między nami było pamiętajmy my jesteśmy otwartą społecznością więc więc wszystko było że tak powiem na mail a nie na umowę na przykład jakąś cywilnoprawną w które mielibyśmy zapisane my terabajt danych A wy GPU No i tak Kiedy zaczęło się tak już No jak w startupach kończyć nasze finansowanie bo nie mielibyśmy GPU nagle pojawił się taki Anioł cyfronet ja tylko z notek znałem mimo że jestem w jestem w tym środowisku technicznym aowy można powiedzieć dla mnie cyfronet był zawsze takim w ogóle niedostępnym ogromnym super komputerem gdzie z wypiekami twarzy Czytałem w ogóle ile tam tych CPU jest tysiące i co tam się dzieje ale zawsze wyobrażałem sobie że tam tam po prostu trenują cały czas odkrywają nowe złoża symulują w ogóle tory lotu satelit i szykują naszych wszystkich naukowców żeby właśnie na księżyc lecieć tak tak ten cyfronet był z wypiekami na twarzy
ale jednak trochę niedostępny ale gdzieś zaczęliśmy komunikować się i się okazało że oni budują Heliosa nowy super komputer który ma mieć 440 kart właśnie GPU H1 albo h200 teraz nie pamiętam ale 440 tą liczbę Pamiętam dobrze i oni go budowali albo byli już na samej końcówce i tak stwierdzili Okej fajnie Ta społeczność jeszcze raz powiem byliśmy na wszystkich konferencjach Dan nowych aowy i innych i z tym PIT deckiem naszym dołączajcie do nas Więc byliśmy rozpoznawalni przynajmniej w tym środowisku i oni powiedzieli dobra macie dane to spróbujmy po co mamy grzać Heliosa różnymi bo on jeszcze nie był produkcyjnie możemy sobie coś wspólnie potrenować i to był ten zwrotny zwrotna część Kiedy zaczęliśmy mówić okej teraz już jednak trzeba zacząć trenować i ja tylko wejdę z krótkim przekazem tutaj wyszedł back biznesowy Sebastiana nie odpuszczajcie marketingu tych projektach aowy iowych i innych dokładnie i tak cały czas Staramy się to
robić spichlerzu zadzwonił mjci pi aż tak źle jest w fundacji że się ja mówię nie Piotr to jest po prostu też element marketingu i promocji to tak jak kiedyś właśnie na Kick starterach teraz Teraz trzeba na patronacie tam wszystkie projekty takie niez to nie chodzi że nie mamy pieniędzy to chodzi też żeby pokazywać że to jest inicjatywa oddolna że chcemy pracować tak PR konsumencko też więc uruchomiliśmy ja bym notował tylko że Sebastian powiedział że mają pieniądze ale to już dobra na marginesie podzielimy się także będzie do kliknięcia będzie w materiałach dołączonych do tego Wiko jeszcze sprawdziłem tutaj muszę powiedzieć że masz dobrą pamięć To jest 440 gra hooper czyli H2 dobrze O to wszystko jest super wracając więc cyfronet się pojawił i wtedy mogliśmy rzeczywiście zacząć już myśleć o poważnie o modelu i jakby Jak można teraz pierwszy taki treningowy pierwszy etap treningu to jest stworzenie modelu bazowego Tak może tak może Nazwijmy go i to jest nic innego model który trenujemy
na ogromnej ilości tekstów bardzo takim uproszczeniu on sobie czyta te teksty i tak naprawdę ten model bazowy znów uproszczeniu on jest takim że przewiduje sobie następny słowo token Czyli my dajemy mu d trzecie i tak s możemy po kolei robić tak na tym dat secie on to statystycznie oczywiście dobiera i i tam są różne jeszcze parametry w który my możemy ten dobór że tak powiem który on tam realizuje i to jest model bazowy Tak i to jest ten ta pierwsza część i dopiero później ten model możemy właśnie już trenować innymi trochę metodami w którym my już nie dajemy czysty tekst tylko dajemy instrukcje dialogi przez instrukcj to jest takie zadanie z odpowiedzią z kluczem tak jak na egzaminie byśmy się przygotowywali Czyli my mówimy mu dajemy mu jakieś zdanie i my mówimy to jest zdanie alamakota powiedz w tym zdaniu który jest to czasownik na przykład i on tam wskazuje Albo powiedz zdanie tutaj zdanie alamakota zidentyfikuj w nim wszystkie nazwy własne i on mówi Ala Tak i to jest odpowiedź my mu dajemy instrukcja z kluczem z odpowiedzią Czyli to już jest właśnie takie i tu jest właśnie ten
problem że ile ten bazowy to trzeba nazbierać dużo tekstów im więcej tym lepiej oczywiście jakość też jest bardzo ważna Im więcej lepiej jakościowych i to mówimy ten model bazowy ale w tym drugim etapie my potrzebujemy już ludzkiego że tak powiem zestawów danych bo te instrukcje są najlepsze jeśli stworzy je człowiek tak I tu możemy się posiłkować trochę datas setów jest zestawu Dany bo możemy sobie na przykład pobrać wszystkie jakieś egzaminy z odpowiedziami nie wiem z języka angielskiego zawodowe Egzaminy są różne na notariusza prawnika lekarza czasami więc trochę jest z tymi odpowiedziami ale to jest ciągle za mało tak bo tych instrukcji my musimy miliony dać więc nawet jak se pozbieramy z wszystkich egzaminów to jak tam raptem będzie ze 100000 pytań i odpowiedzi to za mało A gdzie jeszcze jakieś kreatywne zadania bo ja Tutaj cały czas mówię takie proste zadanka A gdzie takie kreatywne typu nie wiem Napisz piękne wypracowanie esej albo bajkę dla dzieci w wieku takim w stylu takim i i my musimy mieć tą bajkę gdzieś
przedstawioną albo Streść ten tekst albo podejmij decyzję Na podstawie na przykład takich i takich Stwórz wywiad z kimś i tak dalej i tak dalej I to jest ten drugi etap żeby stworzyć już model taki jak my znamy jak użytkujemy instrukcyjny dialogowy i tak dalej I teraz uwaga czyli musimy zrobić bazowy model i później sobie instrukcyjny i teraz możemy sobie to w pewien sposób uprościć i trochę przed bielikiem kilka też projektów było że możemy sobie ten bazowy już pobrać od kogoś na przykład lamy model bazowy albo jakiegoś innego projektu No Open tylko i wyłącznie bo potrzebujemy te wagi i tą drugą część jakby dostroić te dialogi instrukcje więc mogliśmy wziąć na przykład mistrala lam i dostroić i wtedy stworzyć Bielika na ty ale my chcieliśmy bazowy własny tak Czyli taki trenowany i tu znów są dwie tak Dwie drogi pierwsza drogi taka całkowicie od podstaw czyli nie mamy nic zero i i wtedy zaczynamy ten bazowy sobie trenować na polskich tekstach i tu jest jedna jeden ten że nasz Zestaw
Danych który teraz ma tam 2,5 TB ale jak go odsie Jemy od od tych wszystkich słabej jakości tekstów albo tekstów do których nie mamy licencji to pewnie zostaje tam 600 Gig więc to jest za mało a po drugie przy tym trenowaniu bazowego modelu to nie tylko te polskie teksty potrzebujemy Ale potrzebujemy też tekstów na przykład wszelkich języków programowania programów czyli pół githuba trzeba by było przerz jeszcze do tego trenowania w innych językach tekstów żeby nie tylko na polskim wytrenować żeby on taki był Powiedziałbym Polak Patriota Ale żadnym języku niemówiący on musi jednak trochę mieć tekstów w każdym języku Kos dyscyplinarny jakaś chemia notacje formalne tego typu rzy dokładnie czegoś co co też jest uniwersalne w jakiś sposób takie od języka niezależne I tu właśnie wybraliśmy bo stwierdziliśmy że no sorry te 800 Gig przepraszam ma wtedy byśmy musieli tego github więc więcej mocy GPU wszystkiego też to jakoś posegregować klasyfikować i myśmy wybrali taki jeszcze jest jeden taki kontynuowany trening gdzie my
bierzemy sobie na przykład wagi jakieś bazowego modelu i go dalej lecimy z językiem polskim Więc to nie jest dostrajanie mistrala lamy na przykład czy innego tylko to jest taki dalszy trening po to żeby ju czymś zacząć w tym i to tak zrobiliśmy to to jest ta różnica czyli tak my mamy na mistralu Ale myśmy właśnie w tej trybie modelu bazowego kontynuacja treningu tak inicjacja ich wagami a nie jakby całkowicie ten kolejne Bieliki są tak samo robione jak mam teraz d TR to kontynuujecie to zaraz powiem tam jeszcze jest wiele innych technik tylko tu trzeba mocno powiedzieć to jest to żeby nie zaczynać wszystkiego od początku ale wszystkie techniki inne Więc to nie jest tylko dostrojony lama czy Mistral ale wszystkie jeszcze dodatkowe techniki tam musieliśmy włączyć i rzeczywiście Ten ogromny zestaw Pol polskich tekstów które zostały wykorzystane To spowodowało spowodowało że nagle mamy Bielika a nie musimy ten i tu jak zaczęliśmy pracę pełni romantyzmu w ogóle nie wiem czy to romantyzm był ale OKE zaczynamy trenować na tym Heliosie z
zespołem fantastycznych osób z cyfronet Pozdrawiam Marka Łukasza i Szymona i i nagle tu zaczynamy widzieć że o to nie jest takie takie proste że tak powiem bo nagle się okazuje że bardzo często można zepsuć model czyli nagle bierzemy ten bazowy dajemy mu polskie teksty i nagle jest gorzej niż przed też myśmy zaczęli też trochę dostrajać bo to szukaliśmy cały czas drogi Mówiliśmy a może rzeczywiście nie ten bazowy od początku spróbujemy sobie dostroić jakiś model tak tak jak mówiłem to też czasami te pierwsze nasze kroki okazywały się że te modele wychodzą zepsute tak coś coś takiego prostego kurczę jest dobra lama na przykład albo trochę dobra bo w języku polskim ona ale w angielskim daje radę to myśleliśmy tu wszczykuje że tak powiem obszar spichlerza nie tylko bielik to znaczy wtedy stwierdziliśmy my potrzebujemy dużo benchmarków dużo testów tak jak w zwykłych systemach it testów automatycznych i innych rzeczy żeby w tym procesie trenowania mieć od razu odpowiedź że ten model jest zły bo to
też jest pewna taka no nie wiem maniera że wszyscy trenują wrzucają do na hugging Face mówili halo mamy pierwszy model w ogóle dla Architektów Medyków w języku polskim a się później okazuje że bez tego całego benchmarkowa zaczynamy uruchamiać i jest bardzo źle Więc myśmy Pierwsze co jak zaczęliśmy już trenować pierwsze treningi mówimy dobra stop benchmarki no i wtedy wtedy pojawił się też to też jest Weteran Krzysiek Wróbel który właśnie jest specjalistą w ogóle jest mistrzem kilkukrotnym w Polsce dostrajania modeli różnych na różnych architekturach w takim konkursie Paul eval on się nazywa i tam są różne zadania na przykład zadanie Nie wiem analizy emocji i Krzysiek tam w ogóle jest kilkukrotnym mistrzem w ogóle Polski tytułowany w różnych obszarach możecie sobie tam sprawdzić i Krzysiek jako jeden z wcześniejszych dołączył i on się właśnie tymi Benchmark Kami wszystkimi zajął I to jest też bardzo mocna strona spichlerza na taką skalę Europejską bo myśmy Po pierwsze uruchomili leaderboard gdzie Testujemy na polskich zadaniach chyba wszystkie
modele takie mniejsze kompaktowe o zaraz właśnie jeszcze musimy dojść do kompaktowych i to są takie zadania o Streść coś i jest streszczenie jakieś takie pytania typu je z 10 albo jakieś lekkie wnioskowanie albo odgrywanie różnych ról takie proste zadania i to jest pierwsze co to stworzyliśmy leaderboard i wtedy już Widzieliśmy jak ten nasz bielik wychodzi tych treningów i czy warto w ogóle go publikować dalej realizować Ale to było za mało stwierdziliśmy że to To są te benchmarki są dosyć proste tam gdzieś bardzo często analiza odpowiedzi jest tylko reeks nowa albo jakieś takie proste regułowy tak jest test a b c d dobra jest a więc model powinien odpowiedzieć a no ale potrzebowaliśmy tak dalej więc stworzyliśmy też nie stworzyliśmy ale jest taki test empty Bench tam są dość trudniejsze zadania pokat nowan więc pierwsze co to myśmy spolonizowanie bo tam są takie zadania na przykład Napisz wypracowanie o wakacjach na Hawajach a myśmy to zmienili o wakacjach na Mazurach tak i i tam są takie dwa etapowe właśnie różne testy więc
y czyli na przykład bierze się GPT 4 albo teraz jakiegoś jakiś inny model i on ocenia te odpowiedzi i to jest taki empty Bench To był drugi test trzeci test co zrobiliśmy zrobiliśmy polską arenę czyli polska Arena to jest tak że losują ci się dwa modele ty p wpisujesz zadanie Prąd już wpisujesz na przykład halo napisz mi krótką historyjkę o o czymś tam dwa modele są losowane generują ci odpowiedzi wybierasz która jest lepsza albo że dwie są całkowicie do złe i dopiero wtedy ci się pokazuje nazwa modelu Tak i to jest bardzo fajny obiektywny test i to jeszcze ludzki bo ty sprawdzasz to oczywiście on też ma pewne wadę bo po 10 grach bo to bardzo wciąga Takie granie na arenie to po 10 ju zaczynasz uczyć się który model Jak odpowiada jak tu widzisz że tam wtrąca angielskie słowa to już wiesz że to jest ten model i tak czasami można tego bielika bo już wiesz które to są bielikowo odpowiedzi więc można go trochę ten ale w tej arenie bardzo wysoko też jesteśmy i uruchamialy bardzo dużo benchmarków o świetny Benchmark i To się bardzo cieszę bo to to był ten Benchmark stworzony nie przez weteranów więc to nie jest zdominowany
pichlacz przez Weteranów którzy tam siedzą i Tam rządzą ale Benchmark na przykład niuansów językowych związków frazeologicznych inne rzeczy tak bo jak sobie nawet sprawdzicie duże modele to czasami właśnie jest tak polegać jak na Zawiszy tam zrobiłem biznes jak Zabłocki na mydle a jeszcze tam Zabłocki to one wiedzą ale jak już same mydło wrzucisz i Polak rozpozna coś takiego No to jest ciężko więc takie związki fraz olicz warto takie testy zrobić Więc zrobiliśmy taki test equ Bench czyli taki do inteligencji emocjonalnej na przykład a są cztery osoby w pokoju jedna coś tam obraziła drugą jak się ta trzecia czuje to wszystko właśnie zrobiliśmy i i wtedy na tych benchmarkach Zac na poważ trenować Bielika No i nagle okazało się że on zaczyna coraz lepiej przychodzić te benchmarki no i w kwietniu bodajże w kwietniu nie mam już dobrej pamięci do dat ale dobrze wiek w kwietniu wypuściliśmy Bielika 1 wypuściliśmy go na licencji apach 2 nie na licencji do bez komercyjnego użycia bo jeszcze Baliśmy się w ogóle pod kątem właśnie nie pełnych testów nie zrealizowaliśmy i jeszcze ten
ten zestawy danych nie były tak dokładnie opisane a nóż nam się gdzieś tam wymsknie na przykład jakaś strona do której nie mamy praw i tak dalej więc ten bielik 1.0 był takim eksperymentem No ale później zaczęliśmy pracować nad bikiem 2.0 i i wtedy już wypuściliśmy na pełnej licencji zzy pełnej licencji No na apach 2.0 więc można używać go komercyjnie bez problemu i teraz Tomku zapytałeś czy te d TR też tak trenujemy tu jest tak że gdzieś t model bazowy a później te numerki 22 23 to już są różnymi innymi technikami wychowywane czasami jest ten model Czyli już tak [Muzyka] optymalizowanie prawie bez treningu już wam mówię jak że wypuściliśmy model 21 który był bardzo fajny ale żołnierski to z mówiłeś halo chc założyć taki biznes co o tym sądzisz To on mówi Nie zakładaj tak Koniec i odpowiedział trzeba go było tam była duża wartość na rynku tak później wypuściliśmy 22 albo odwrotnie ten żołnierski i on piękne historie w
ogóle tworzył I to takie rewelacyjne lał wodę pisania Ustaw takie materiał 21 22 różne było i wtedy właśnie koledzy sobie wzięli te wagi z 21 22 i zaczęli bez trenowania je odpowiednio połączyli tak I nagle wyszedł 23 czyli trochę wzięli wag z tego trochę z tego oczywiście używając nie średniej pomiędzy jedną wagą tylko właśnie jakiś różnych technik już i nagle 23 wychodzi że jest takim między żołnierzem a a a a polewacz w to jest najnowszy model prawda Tak to jest najnowszy i teraz co dalej czyli stworzyliśmy mamy bazowy tak jak powiedziałem na bardzo ogromnej zestawie danych tekstów polskich ale kontynuacja jest z mistrala czyli nie dostrajanie mistrala a tylko kontynuacja inicjalizacja i później kilka bazowych Przepraszam instrukcyjny stworzyliśmy oprócz tego też jest bardzo ważne tu trzeba powiedzieć że te modele 23 GPU No nie uruchomimy na CPU bo no no nie uruchomimy koniec kropka Może tak powiem ale są metody tak Gdzie można
upakowany zapisywać te wagi jak się domyślacie on jakościowo może być gorszy ale trzeba zawsze zbadać bo do niektórych typów zadań będzie dobry ale można go uruchomić albo na bardzo małej karcie GPU albo nawet na zwykłym CPU i i wtedy ściągamy sobie taki model i możemy uruchamiać więc jeszcze jest kilka model skwantyfikowany i teraz wrócę bo tak mówiłem bazowy instrukcyjny jeszcze jedna definicja modeli my jednak mówimy że nasz bielik jest slm nie llm tylko jednak małym modelem językowym taka definicja pojawiła się w internecie Ja nie wiem czy ona w ogóle jest poparta jakimiś naukowymi mocnymi artykułami ale ktoś sobie wymyśli że mały model to taki model który zmieścimy na karcie konsumenckiej to Nazwijmy taki konsumencki czyli ona tam prawie do gier ale trochę więcej niż do gier i i wtedy ktoś sobie wymyślił że 10 miliardów parametrów To jest właśnie ta ilość Ramu na której można umieścić taki model i i i właśnie bielik jedynka miała 7 miliardów parametrów dwójka miała chyba 11 miliardów parametrów dobrze pamiętam i i można go zmieścić na na
konsumenckiej i to jest taki slm nie powiedziałbym llm ale on naprawdę w języku polskim sprawdza się doskonale w biznesie bo nie potrzebujemy W tym biznesie całego zestawu zadań które wykonują lmy czyli nie musimy tam w ogóle robić jakimś staro francuskim językiem eseje właśnie o średniowiecznych rycerzach po prostu czasami potrzebujemy ekstrakcje tekstu pracę na kontekście jakieś ragi inne rzeczy i taki slm jest świetny No i nie zawsze potrzebujemy 40 języków naturalnych i dialektów i wszystkich Czasami po prostu wystarcza tak jak w bieliku Polski i dzięki ty continuous treningowi a też trochę w zestawach danych też były inne języki on angielski francuski niemiecki jest na dosyć dobrym poziomie ja bym powiedział nien natywny ale SP tłumaczy i różne inne rzeczy realizuje więc te skwantyfikowane wersje to to są też takie Dodatkowe wersje które też można uży dużo ciekawych rzeczy powiedziałeś Ja jeszcze wskoczył z takimi kilkoma szybkimi pytaniami żeby zaspokoić też swoją ciekawość Mam nadzieję że przy okazji te nasze widowni więc tak
pierwsza rzecz bo powiedziałeś że to jest oparte na mistralu 7b oczywiście misal też publikuje nowe modele i teraz pytanie czy wy kolejne wersje cały czas musicie Opierać na tym oryginalnym modelu od którego zaczęliście czy też tak naprawdę przepina cie się na te nowe wersje no bo no w jakiś sposób Jednak jeżeli zmienialiście wszystkie wagi które były w tym oryginalnym modelu fine tunu jąc No to pewnie nie chcecie trenować od zera kontynuując nie Fine tunu onc ale kontynuując ten mistrala wiesz co nie nie wiem na ile mogę zdrać w ogóle tajemnicę naszego zespołu da nic nie opublikujemy nie przez to że mamy tak po pierwsze y mamy świetny framework bo to jest następna rzecz mamy świetny framework w ogóle do trenowania modeli tu Krzysiek Ociepa który jest No można powiedzieć liderem takiego zespołu trenującego Nie wiem tak w Open właśnie projektach Community nie mamy taki takiej mocnej struktury ale chyba Krzysiek może być nazwany liderem I też uważam że jeden z najlepszych Inżynierów takich Deep teowych w Polsce to właśnie zrobił cały cały framework do tego więc mamy framework że możemy sobie
troszeczkę wymieniać te modele przy przy procesie treningowym drugiej rzecz mamy ten te benchmarki cały ten ten ten ten Potok benchmarków więc dzięki Tym dwóm rzeczom framework plus pró te benchmarki my możemy sobie cały czas patrzeć A może an nie mistrala Lame A może też coś chińskiego sobie zobaczymy jak to się odchyla więc tak realizowane nie publikujemy takich modeli bardzo mocno Testujemy i to co nad czym pracuje teraz Zespół treningowy Mam nadzieję że znów nie zdradzę ale nie oni już to na konferencji opowiadali więc mogę powiedzieć teraz pracują nad takimi małymi modelami 3 miliardy parametrów i półtora miliarda parametrów i troszeczkę zmienionym właśnie też zestawie tym wejściowym jakby tekstów instrukcji innych i tam trochę z innymi modelami Właśnie sobie że tak powiem eksperymentują nie wiem na czym stanie ale nawet gdzieś pojawił się jeśli dobrze pamiętam właśnie KEN chiński też jeden z modeli był tak analizowany więc tak możemy sobie zmieniać te modele to jest ciekawe co powiedzia Bo myślałem że opierali się tak sobie założyłem na tym API kt
udostęp do trenowania a on jest też całkiem rozbudowane ale okej to już wiem patrzyłem naz das jeżeli chodzi o dane i tam rzeczywiście można zobaczyć Dashboard zbudowany chyba w stream lie opublikowany online i tam widzę 2769 GB to powiedziałeś o tej liczbie wcześniej Rzeczywiście są tam te dataset o których powiedziałeś natomiast to co też tam widać to są dwie takie rzeczy zaczy jedna to jest obserwacja druga to jest też taka obserwacja z zewnątrz czyli po pierwsze tam może Dashboard też nie jest aktualny natomiast widać że to zbieranie danych te podstawowej części to jednak wszystko Skończyło się gdzieś tam nawet jeszcze Powiedziałbym przed początkiem 2024 roku więc pytanie czy jeszcze próbujecie te dane skądś zbierać Czy to już jest ten moment kiedy też możecie powiedzieć Słuchaj dane polskie w internecie to już nam się skończyły To jest moja pierwsza część pytania a może drugą już po twojej odpowiedzi dodam uważam że trochę skończyły się dane w internecie jeszcze a ACT i w ogóle jakby powoduje że mamy trudności a jakie jeżeli mogę cię spytać przyznajmy szczerze rzeczywiście przyznajmy szczerze że sam scrapping nie był uczciwy tak No jeśli ktoś właśnie
pisał teksty i i tworzył to jakby teraz nagle przechodzi sobie No świetny jest na przykład Stack overflow chociaż tam to jeszcze bo te treści były generowane przez społeczności tak I nagle ten biedny Stack overflow teraz tak leci w dół a Wyobraźmy sobie że to nie było przez społeczność budowania tylko se zbudowali byśmy teraz właśnie w czterech świetny portal dla programistów i razem byśmy tu wszyscy tworzyli świetne unikalne treści i nagle przychodzi Cat GPT bierze te treści i robi co pilota i na tych treściach Programiści już przestają na nasz portal więc rzeczywiście scrapping był rzeczą bardzo taką nie fair natomiast i tu jest dobrze że nagle są regulowane te rzeczy że to tak nie można sobie po prostu wziąć tę treść i gdzieś tam wykorzystać jestem za podpisuje się rączkami nogami czymkolwiek że jesteśmy natomiast przed aktem który rzeczywiście zaczyna to i to nie tylko bo to jeszcze wiele innych aktów które właśnie trochę t te dane zgody i różne inne rzeczy do wykorzystywania modeli robi to rzeczywiście jest bardzo dobra ta regulacja ale przed tą regulacją
powinno być bardzo dużo projektów otwierających danych my tych danych bardzo dużo mamy jako społeczeństwo w bibliotekach w muzeach w pracach naukowych No tu każdy z nas jakiś jakąś pracę naukową to znaczy licencjacką inżynierską magisterską napisał i teraz one mogą już być przestarzałe bo ja na przykład o hoo chyba 30 lat temu Pisałem tam moją magisterkę więc więc myślę że ona już nie nadaje się ale do stworzenia modelu językowego czyli żeby on styl prac naukowych są fantastyczne i teraz uwolnijmy to zanim takie robimy regulacje bo bo nagle się okaże że tych tekstów mamy ogromnie dużo i wtedy nie musielibyśmy rzeczywiście sięgać po scraping który uwaga jest też słabą jakości bo ja tutaj mówię o super jakość jakiś programistyczny ale umówmy się że na stronach na przykład firmowych wszyscy pręż muskuły no świat inaczej wygląda na stronach www niż jest więc też budowanie modeli i jakieś inteligencji na tej podstawie to też jest zła więc te regulacje są potrzebne
ale uważam że przed regulacjami powinniśmy tutaj pootwierać dane ja tylko wejdę z tym że dla tych wszystkich którzy krzyczą że nie będziemy mieli GPU bo nas stany wyrzuciły do tier 2 i tak dalej i tak dalej uwolnijmy dane Najpierw kś była taka akcja uwolnić słonia to zanim przejdziemy do kupowania GPU uwolnijmy dane taki mały apel ja nie wiem czy będziemy mówić jeszcze o projekcie nowym spichlerza obywatel bielik Myślę że się uda bo to jest taki ten ale nie słyszałem więc na koniec możemy pogadać dobrze bo pracujemy nad modelem też multimodalnym tak i i zdjęcia n ze zdjęciami jest jeszcze gorzej niż w ogóle niż z z tekstem Bo Pamiętajcie że o ile tekst Nie trzeba podpisać tak na firmowych stronach to jak już zdjęcie użyjemy To tam musi być źródło i bo jednak ta ta część była bardzo dobrze więc tam już nie mamy nic zdjęć i teraz dam przykład na Ministerstwa rolnictwa jest lista potraw i produktów regionalnych ona chyba ma tam 1000 czy 2000 pozycji a tylko 380 zdjęć jest tak więc więc to też pokazuje że zaraz my się obudzimy że nikt nie będzie znał salcesonu karkowskiego akurat tam
zdjęcie salcesonu karkowskiego jest więc to jest bardzo ważne i teraz Popatrzcie na to bo my cały czas Tu się przepycham a tu modele biznes w ogóle inne rzeczy czy on już może podejmować decyzje proste rzeczy na przykład dostępność cyfrowa kiedy mamy model multimodalny który może czytać z dużą z bardzo dużą szczegółowością zdjęcia wzory artykuły naukowe to nagle okazuje się że wszystkie czytniki dla osób właśnie z z pewnymi problemami no no rozwiązujemy od razu tak bo bo bo może on widzieć świat za pomocą modelu multimodalnego No ale jeśli my mamy 388 zdjęć na ileś tam potraw tradycyjnych to ten chiński model powie mu tak jak ja Zawsze testuję modele multimedialne na polskim żurku na przykład KEN który jest na otwartej licencji 2 I5 wersja czy dwa przepraszam to Polski żurek roz zdaj jako zupę ziemniaczaną z jajkiem no Po pierwsze mamy kartoflankę To jest po pierwsze a po drugie kartoflankę nie podaje się z tym więc to są takie rzeczy które są ważne też nie tylko żebyśmy już od
razu oddawali świat tym maszynom ale on może nam pó może się obrać No dobrze dołożę drugą część tego pytania bo powiedziałeś Tak trochę te dane w internecie Polski się skończyły Natomiast teraz właśnie pytanie odnośnie te druga część pytania No dobrze z tego co tam się słyszy to ci najwięksi którzy tworzą te modele już również największe to im dane się skończyły już jakiś rok temu mniej więcej jadą na danych syntetycznych więc pytanie bo wy na początku skupili się na tych danych polskich i to był jakiś taki wasz advantage nie oni się skupiali ogólnie na wszystkim i pytanie czy advent jeszcze ciągle jest czy to nie jest tak że im się skończyły dane i również nawet polskie i czy nawet w ramach tego Korpusu Polskiego to ciągle macie jakąś tutaj przewagę No bo to gdzieś pod spodem jest pytanie czy jest sens kontynuować temat polskiego modelu nie no sens jest duży ale zarówno jak plum jak i i bielik na przykład bo jeszcze mamy drugi Polski model znaczy mamy ale myślę że będzie opublikowany bo już został skończony to tak samo jak sprawdzicie porównywalna liczba danych była użyta do treningu tu i tu Mogę jedno jedno pytanie tylko bo akurat ogłoszenie plum dotyczyło na razie chyba głównie zestawu danych Ten ich Zestaw Danych jest dla was dostępny porównywali go czy nie Nie
on nie jest dostępny zzy wszystko będzie dostępne bo to jest też projekt który był finansowany z Ministerstwa Cyfryzacji i ma być po kolei Wszystko upubliczniane oczywiście nie cały zestaw danych ponieważ może być tak że ktoś im przekazał danych na przykład ty możesz dać książkę i powi tam było oni podawali statystykę ile licencji mają i tak dalej tylko wiesz co możemy uciąć tutaj tylko ale w wracając niezależnie czy bielik czy czy czy właśnie plum to my pracujemy na 80 razy mniej 100 razy mniej danych niż niż podobne modele możemy powiedzieć Więc to też pokazuje tą skalę i rzeczywiście w Polsce uważam że się kończą te dane też te syntetyki pamiętajmy że te syntetyki to to nie są całkowicie syntetyczne to że one są takie stworzone od podstaw nie wiem tekst jakiś bardzo często syntetyki to są na solidnych podstawach tych tych dobrej jakości tekstach tylko już w innej formie podane czyli na przykład mamy tekst o Kluczborku będę promował Kluczbork bo pochodzę z Kluczborka i i na przykład możemy sobie
pobrać cały opis historii Kluczborka i na przykład syntetyków zrobić na przykład egzamin o Kluczborku albo zrobić wywiad oczywiście trochę zmienić formę styl tego tekstu więc te syntetyki no nie są taka tworzone bym powiedział od podstaw Ale pomagają bardzo mocno bardzo mocno w obszarze tym trenowania Ja uważam i teraz to co uruchamiamy że to czym możemy wygrać właśnie z już nie powiem potentatami bo to nie chodzi o wyścig z Open aem bo oni to jednak jest llm A my jednak jesteśmy w slm jest wystarczająco żeby zachować pewną suwerenność bym powiedział tak bo taki slm może pracować dobrze w biznesie w public i nawet w jakiejś krytycznej infrastrukturze Natomiast w czym możemy robić No teraz jest na przykład bardzo bym powiedział moda na obywatelskie zbieranie danych tak na przykład wszystkie mierniki czystości powietrza tam można jednym kliknięciem sobie włączyć i dzieleniem się danych czyli Jeśli sobie taki miernik gdzieś powiesisz w swoim domu No to on może się dzielić tymi danymi są też
bardzo fajny projekt spławików które dają jakość wody któryś z Banków Polskich uruchomił taki projekt że rozdaje spławiki które mają tam lokalizator mają różne rzeczy i ty możesz na spacerze taki Sławik umieścić gdzieś i on raportuje właśnie o czystości jakości wody Polski projekt też bardzo fajny no i teraz dużo jest takich obywatelskich właśnie inicjatyw kiedyś za dawnych czasów naszych znaczy nie wiem czy jesteśmy w jednym wieku były różne rzeczy poszukiwanie różnych rzeczy w kosmosie i nasze CPU liczyło i tak ja uważam dokładnie że to jest ten czas gdzie powinniśmy wrócić do do takiego obywatelskiego zbierania danych i właśnie uruch uruchamiamy teraz projekt obywatel bielik gdzie chcemy na przykład aplikację mobilną dać i teraz Sebastianie Wojtku Tomaszu jesteś na spacerze na przykład robisz zdjęcie ptaszka bo tłumaczysz dzieciom co to za ptaszek i opisujesz tego ptaszka i rzucasz do naszego datas jak masz schab Każdy by mógł Każdy by mógł złożyć Każdy by mógł złożyć w ofiar swoją magisterkę tak jest druga rzecz jak sobie schabowego przyrządzisz jakiegoś
tradycyjnego albo właśnie coś innego od rodziców teściów wujka różnych rzeczy zrobisz fotografię i będziemy wiedzieć właśnie jak wygląda na przykład salc karkowski Kiszka jak tam i tam innych rzeczy więc takie obywatelskie zestawy danych mogą nam pomóc też uruchamialy dialog ownie w bieliku już Jedynce gdzie na przykład była osoba która fantastycznie to się chyba nazywa astrofotografia tak znała się na tym to była jej pasja i zrobiła nam taki malutki dat secik właśnie swojego doświadczenia o astrofotografii i myślę że to jest też kierunek czyli z jednej strony uwalnianie tych danych takich których jeszcze jest masa w archiwach cyfrowych różnych i z drugiej strony obywatelskie dane do przeczyszczania tych danych A bo jeszcze co robimy też są już zdjęcia archiwalne na wolnej licencji Zobaczcie co się dzieje w Internecie dużo lokalsów znów nawiąże do Kluczborka na przykład jest taka grupa w Kluczborku wrzucają tam zdjęcia archiwalne z 191 70 roku albo przedwojenne i wszyscy rozpoznają która to ulica była co i jak No i teraz to żeby przenieść w jakiś
scentralizowany sposób to mamy fantastyczne rzeczy które możemy właśnie robić czyli opisanie zdjęcia połączenie go z lokalizacją z datą i to wszystko budowanie takich zestawów danych albo opisywanie archiwów cyfrowych właśnie w taki sposób to chcemy robić i wydaje nam się jak sobie zobaczymy nawet te głębokie co Tomek głęboką biel chińską ale nie to nie wtedy nie biel coś innego to tam dużo rzeczy było zrobionych właśnie na poziomie odpowiedniego przygotowania jakościowego datas setu i innych rzeczy i I to właśnie jest że nie tylko GPU ale też przede wszystkim ten zestawy dane Mają ogromny wpływ my na początku bardziej szliśmy na masę tak mówiliśmy masa później rzeźba A to się okazuje że zzy nie okazuje się to to widzieliśmy od początku gdzieś my to przewidzieliśmy z d lata temu Sebastian powiedział że tak się skończy wojną o dane i tak dalej z tymi wszystkimi lamami także powiedziałeś na samym początku jedną ciekawą rzecz teraz nie wiem so czy sobie za dużo na interpretował więc się dopytam bo powiedziałeś coś takiego że jak myśleliście o stworzeniu polskiego modelu No to że te angielskie modele czy zamknięte modele ze względów ligowych na
przykład mogłyby nie być używane w polskich firmach że to potrzebne byłyby jakieś zezwolenia czy powiedzmy pieczątka ze strony to państwa czy jakiś regulujących podmiotów i czy wy dalej w ten sposób myślicie to znaczy czy próbujecie z Bielika zrobić taki model z pieczątką na przykład nie wiem knf-u tak żeby polskie instytucje finansowe miały zielone światło do wykorzystywania go bez jakichś większych badań dodatkowych to jest tak po pierwsze może o tych pieczątkach gdzieś to było jest mocne uproszczenie ale tak po pierwsze już modele zagraniczne mówią nie wchodzimy na rynek europejski ze względów regulacyjnych na przykład właśnie wizyjny lamy tak Czyli czyli on się już nie pojawi oni bardziej mówią o rodo Nie wiem dlaczego rodo ale tak w zdjęć ale dobrze może rzeczywiście elementy zdjęć które użyli w dataset mogą mieć jakieś elementy identyfikacyjne i dlatego właśnie nie wchodzą na rynek europejski więc już będziemy mocno ograniczeni jeśli więcej modeli podejmie taką decyzję a ACT mówi że rzeczywiście To nie chodzi o pieczątkę ale jako producent pewnych
modeli tam też jest zdefiniowane jakich modeli jak trenowany z jaką mocą użytą do trenowania No to rzeczywiście będziemy musieli przygotowywać nie pieczątkę ale pełną dokumentację czyli na jakich danych był trenowany dokładnie co do każdego źródełka wszelkie ryzyka wszelkie testy czy zrobiliśmy właśnie na Różne skrzywienia dyskryminacje algorytmiczne i inne rzeczy i producent modelu dostawca będzie musiał to to dostarczyć ten więc może pieczątka nie ale rzeczywiście No będziemy musieli to to gdzieś realizować i teraz tak nie chcę użyć bo takie w internecie zostało użyte że będzie teraz policja czy też milicja sztuczna inteligencji tak troszeczkę tam jest w tym prawdę że będzie urząd który będzie mógł skontrolować jest już pierwsze w ustawach opisane jak ta kontrola będzie wyglądać Jakie są kary czy mogą zaplombować serwery czy nie No no będzie będzie to troszeczkę bym powiedział regulowane i No przygotowujemy się bardzo mocno
żeby te wszystkie spełnić oczywiście to teraz jest krokami realizowane te te regulacje dopiero pierwsza taka była w Polsce wprowadzona już ta regulacja związana z a pierwsza ustawa więc no przygotowujemy się ale to trochę czy utrudni Powiedziałbym tak jest to jakieś wyzwanie zwłaszcza dla takich Open Community jak my całe szczęście u nas właśnie teraz jest zespół chyba pięciu czy sześciu prawników które i to jest bardzo fajne że ten Open się rozszerza że to nie tylko teraz Source tylko też właśnie praca na przykład prawników pi osób w spichlerzu pracuje właśnie i przygotowuje nas do tych wszystkich żebyśmy może nie mieli tej pieczątki ale żeby policja nie zapukała 6 rano do mnie na przykład Czy mamy już wersję drugą wersja 3 in Training i teraz pytanie Czy według ciebie czy znasz jakieś już praktyczne komercyjne zastosowania Bielika bo Toż na hing można sobie skorzystać jest fajne ale czy ktoś już korzysta z niego komercyjnie czy się tym chwali czy jest jakaś współpraca tego typu to powiem
tak dużo mógłbym opowiadać bo dużo wiem ale niestety nie mogę powiedzieć bo bardzo często Wymagają ode mnie różnych poufnych rzeczy myślę że dopiero jak zakończą ale to pokolei bielik d pojawił się we wrześniu przełom sierpnia września Ale myśmy wrzesień więc bardzo dużo firmy zaczęły go używać ja tylko powiem takie statystyki że jedynka i dwójka była pobrana model cały nie tam że ktoś w interakcję wszedł z modelem albo zaczął pobierać ale cały model pobrany A to jest trochę GIGA i trzeba mieć GPU żeby go uruchomić 300 ponad 350 000 razy tak więc to też pokazuje Jaka jest popularność Mod i jaka potrzeba w rynku na rynku polskim bardzo dużo banków używa Bielika nazw Nie mogę podawać oprócz no mogę podać kredyt Agricol bo wiem że oni to podają do publicznej wiadomości więc wykorzystują Bielika i mocno też weryfikują w innych projektach które wcześniej na innych trochę modelach
Działały na przykład osoba na ostatnim chyba data Science summit całą prez prezentację jak zoptymalizować Bielika I to było z banku Millenium więc Domyślam się że jeśli na konferencji mówi jak sprofanować w pewien sposób Bielika to to że bank Millenium używa więc to to też jest mocno w Community jest naszym i to jest wśród Weteranów Ludzie z banku PKO z Żubra więc mogę się tylko domyślać że też używają Bielika więc dużo jest wdrożeń o których ja wiem ale też nie mogę powiedzieć natomiast bardzo mocno scena startupowa wiem dziwnie scena ale tak się mówi scena startupowa bardzo szybko Bielika i to jest lepiej bo oni szybko przetestowali i zaczęli używać produkcyjnie jednak w korporacjach dłużej to trwa i już szybciej zaczęli się chwalić tym więc jest jeden startup GUS lex Jeśli dobrze wymówił tą nazwę to jest startup który robi takie dla prawników do researchu w ustawach bardziej wyszukiwarkę takiego niż niż jakimś podejmowanie decyzji i oni Bielika bardzo mocno przetestowali
wszerz i wzdłuż już bym powiedział tak profesjonalnie do swoich rzeczy nawet publikując dane wyniki czułości precyzji w porównaniu z Open aowy ale chyba GPT 4 nie 4O i w porównaniu z z Mistral 8 r 7 Jeśli dobrze pamiętam i bielik naprawdę w internecie są te wyniki i precyzja i czułość dużo lepsza i to oni wykorzystują Bielika mocno więc trochę tych tych jest bielik bym powiedział wdrożeń i się dzieje też bardzo fajnie clero to jest dostawca chyba rzeczy że tak powiem to uruchomił uruchomił Sherlocka taką usługę gdzie właśnie można sobie Bielika per token używać i przez API tam udostępnił Bielika i lamę więc to też pokazuje że że że że uruchomione są takie inicjatywy zmierzamy powoli do końca to chciałbym cię jeszcze odpytać O właśnie plany na przyszłość bo trochę zarysował powiedziałeś że będzie ta V3
powiedziałeś Multim modalu powiedziałeś o tym projekcie obywatel bielik Czy jest jeszcze coś co o czym powinniśmy wiedzieć albo co co chciałbyś dodać do tego co już padło wcześniej oszczegała te plany które powiedziałeś zapytałeś Sebastian to jest tego Po pierwsze w trójce nad czym pracujemy w trójce pracujemy przede wszystkim nad jakością strukturyzacji odpowiedzi czyli bielik bardzo fajnie dwójka sobie radzi w wielu zadaniach i to te benchmarki pokazują ale my jako Programiści bardzo często potrzebujemy ustrukturyzowanej odpowiedzi na przykład Jasona tak albo taki jest tryb w dużych modelach językowych się nazywa function Calling że on może przygotować wywołanie jakieś funkcji API nawet tak Czyli ty dajesz schem Jasona i on już zwróci według tej schemy tak jakbyś przygotowany był do wywołania funkcji API coś już takiego bardzo bym powiedział zaawansowanego i tu właśnie Przygotowujemy żeby bielik był bardzo dobrej pod tym kątem Właśnie strukturyzacji takiej bardzo formalnej wizi czyli tu trójka będzie i oprócz tego w tej trójce chcemy właśnie te modele półtora miliarda i 3 miliardy parametrów po co takie małe modele to to od razu odpowiem ponieważ one są bardzo fajne że można je Fine tuningować do
jakiś dwóch trzech zadań w swojej firmie na przykład i już całkowicie i Trening trwa krótko takiego modelu i i też można użyć go na mniejszej karcie czyli można takiego trzym miliardow i na przykład do wykrywania wrażliwych danych w naszych dokumentach tylko do tego go sować i on będzie dużo lepszy to też jest bardzo dużo prac na przykład niż Open aowy a sobie uruchomimy w swojej infrastrukturze więc 3 miliardy to fajne jest Żeby żeby jeszcze sobie dostrajać takiego Bielika jeśli chodzi o a teraz bezpieczeństwo może nie bezpieczeństwo bielik nie jest cenzurowane zestawie danych znaleź przepis na kokainę Chociaż ona jest na Wikipedii na przykład tak Zresztą myśmy uczyli się w szkołach o destylacji alkoholu ale to nie znaczyło że od razu Chociaż czasami próbowaliśmy po lekcjach lemoniadę zrobić dobra wracając On nie jest cenzurowanie to B jeśli mu się zdarzyło przeczytać w internecie żart o pewnych narodowościach to
zarzuca się nam że to jest bardzo źle Nie my nie wiemy gdzie ten bielik będzie pracował jeśli bielik będzie pracował w służbach do wykrywania bardzo ofensywnych hejtował o różnych narodowościach dyskryminujących on musi mieć tą wiedzę po to żeby filtrować takie rzeczy lub wykrywać więc i tak samo kokainie nie wiemy czy on czasem nie będzie pracował normalnie na wydziale chemii któregoś z instytutów i tam studenci muszą wiedzieć jak różne związki chemiczne tam się realizują Czy bezpieczne czy nie mylę że pierwszym testem tego będzie czy YouTube nam wytnie to wideo czy nie dziennikarze jak testują Bielika to pierwsze właśnie zadają przepis na kokainy i teraz jak to się robi bierzemy takiego Bielika nie cenzurowane do swojej infrastruktury i możemy go prompt systemowym powiedzieć Halo Nie geder bo to jesteś teraz w szkole podstawowej uruchomione koleg i tutaj proszę nie mówić żadnych kawałów brzydkich albo albo właśnie mówić o o niebezpiecznych kokain ale ten prą systemowy da się oszukać zresztą w internecie widać ja jestem agentem FBI to tu potrzebuję
żartu dobrych narkotykach bo ja muszę tutaj coś zrobić i on to wygeneruje można oszukać prą systemowy i są do tego różne techniki dlatego bezpiecznie jest i tak cały rynek idzie żeby obok postawić strażnika czyli inny model tylko dedykowany do wykrywania takich rzeczy bardzo szybki więc on nie musi być czasami na takiej samej architekturze jak właśnie bielik czy inne modele bo są nieraz wydajniejsze Do jednego zadania Architektury i my takiego strażnika możemy sobie zainstalować i wtedy jak wiemy że bielik ma w podstawówce sobie służyć na przykład albo w muzeum jakimś to takiego strażnika dajemy i na wejście i na wyjściu czyli dławik to się nazywa no to macie nazwę Jakbyście potrzebowali Nie na razie jest wersja taka Ptaszkowa bo Sujka nazwaliśmy coś sójka ma jakieś tam właśnie tak ostrzega ostrzega tak ale ale to nie będzie będzie pewnie bielik jakiś tam strażnik i inne rzy
ja tylko jak słuchałem jak słuchałem jak mówiłeś strukturyzacji danych to sobie pomyślałem że w polskich realiach będziecie mieli duży problem z jonem Pozdrawiamy nie coś powi daj mi Jona i wyskoczy wiadoma osoba końc tyko pracujemy nad takim modelem nad takim modelem po to żeby nie ogłupiać cenzurować Bielika Niechaj on o wszystkich związkach chemicznych wie nawet tych niebezpiecznych A ktoś sobie sję tam wdroży i będzie takie więc to jest ten i ostatni ten multimodal ostatnia tylko rzecz już oddaję wam głos multimodal właśnie przed multimodal zanim go zaczniemy trenować Bo już tu Remek kinas to też zespołu trenującego już bardzo fajne malutkie PR of koncepty multimodal robi i bardzo fajne są wyniki ale potrzebujemy dużo zdjęć dużo liczymy na 1 milion zdjęć dobrze opisanych więc to jest dużo biorąc pod uwagę że mamy 388 zdjęć potraw tradycyjnych I tu właśnie uruchamiamy ten obywatel bielik projekt takiego społecznego zbierania danych ale też opisywania danych po to żeby stworzyć tego
multimedalisci i do opisywania mamy ale próbki głosu jakbyśmy zbierali co jest bardzo prawnie problematyczne Ale słuchajcie wszystkie dialekty gwary też osób starszych żeby mieć na przykład próbki głosu żeby później robić Whisper który potrafi rozumieć na przykład osoby starsze które już mają problemy z mówieniem to to fantastyczne zebrać takie próbki No ale tutaj wiecie te próbki głosu mogą być wykorzystane różne mogą być klonowanie mogą być użyte czasem do autoryzacji jakiś różnych innych rzeczy więc tu prawnicy drapią się mocno fajny pomysł więc mam nadzieję że przejdą to i jakoś zaopiekują się bo taki projekt z próbkami głosu to jest też Ogromna taka nie tylko biznesowa bardziej bym powiedział społeczna rzecz którą obywatel bielik to jest powiedzieliśmy o patronie Ale tak w Polsce mamy dużo ludzi którzy są bardzo umi i czasami potrzebują tylko znaleźć ujście tej swojej energii kreatywnej więc pytanie czy wy na chwilę obecną potrzebujecie jakiegoś wsparcia poza tym patronem o których wspomnieliśmy Czyli jeżeli na przykład ktoś miałby moce przerobowe A może chciałby sprze za pomocą nie wiem jakiś wolnych GPU które gdzieś tam na strychu u dziadka sobie leżą więc pytanie z kim się kontaktować czego potrzebujecie czy w ogóle zawracać wam
głowę od razu Powiem tak czego potrzebujemy jakiego wsparcia tak potrzebujemy potrzebujemy rąk do pracy Cały czas zwłaszcza w obywatelu bieliku przy czym w obywatelu bieliku pamiętajmy z jednej strony będzie to aplikacja taka zwykła którą każdy będzie mógł sobie zainstalować czy też użyć tak jak powiedziałem nawet Dzieci w podstawówce mogą sobie nam pomagać tutaj te dane tworzyć czy analizować Ale z drugiej strony też udostępniamy API do tego obywatela Bielika API udostępniamy do obywatela Bielika w którym właśnie Jeśli masz GPU wolne i i masz jakieś skile super moc typu potrafisz jakiś model który na zdjęciu rozpozna nawet jaki to był rok albo potrafi różne rzeczy rozpoznać pod kątem nie wiem lokalizacji stylu zdjęcia albo jakości i tak dalej i tak dalej to jak najbardziej zapraszamy i wtedy sobie można po tym API pobierać I to jest też bardzo fajne Ja wczoraj rozmawiałem z Kasią Klimek z inkubatora właśnie Uniwersytetu Warszawskiego że takie API my dajemy i ktoś jeśli ma fajny pomysł a zrobi algorytm który rozpoznaje chorobę liści na podstawie czegoś to może sobie ten
algorytm tworzyć i później skomercjalizować a nam tylko opisywać właśnie czy ten liści ma jakąś chorobę czy nie ma choroby i różne inne rzeczy albo same liście tylko opisywać Jeśli nie chce się dzielić więc to jest też fajna rzecz że my możemy I to jest właśnie też najważniejsza rola spichlerza że my nie chcemy dogonić znaczy wyprzedzić Open A my chcemy jak najwięcej budować fajnych kompetencji i i budować tak jak jest taki na Wikipedii wykres ile na Ubuntu na jednej dystrybucji Ubuntu powstało projektów startupów naokoło tak ile wokół Linux foundation powstało projektów już komercyjnych to było nasze marzenie to znaczy żeby bielik cały czas i spichlerz był za darmo żebyśmy tworzyli sobie modele ale żeby wokół niego powstawało wiele spinoff różnych startupów i to nie chodzi o to że teraz spichlerz ma w każdym z tym startupie mieć po prostu mieć udziały nie my wier może czasami będą jakieś pakiety to fajnie dla twórców albo innych osób ale przede wszystkim nie będziecie narzekać Ale nie tak Tak pełna zgoda ale przede wszystkim wierzymy też w karmę to znaczy jeśli
ktoś na spichlerzu nauczy się tego to choćby będzie sponsorem jeśli ten startup wyskoczy na jednorożca to będzie sponsorem tak oprócz patronite też szukamy sponsorów dobrze więc za to trzymamy kciuki za tą falę unikor zbierania danych też trzymamy ksiuk kilka rzeczy które ja sobie Wyciągnąłem i tak podsumuję po pierwsze odpal jakiegoś w tpa albo coś i ludzie donation waszych magisterek naprawdę Możecie przejść do historii w końcu te prace napisane nie wiadomo po co do czegoś się przydadzą nie Tomek to jest nie do końca bo do twojej magister magisterki chyba ty nie masz praw już tylko uczelnia ale wiesz I to jest wś dwa ja szczerze powiem że wcześniej tam czasami coś powiedziałem temat Bielika ale mocno się działem więc Sebastian Dzięki wielkie bo ja się dużo dowiedziałem co robicie jak robicie No i co i kolejny raz się okazuje że jak się chce coś robić to trzeba zacząć to robić a nie robić predykcje pod tytułem Agi już za miesiąc Zabierze nam pracę tylko po prostu rękawki i jedziemy GPU się znalazły wszystko się znalazło więc to jest pozytywne i jak ktoś nas słucha to polecam takie podejście spichlerz można znaleźć na sieci znajdziecie poniżej się tak nie
pisze speak org całkowicie po polsku no ja Zachęcam do tego żeby zajrzeć spróbować jak ktoś ma czas to skont ać jak ktoś ma 10 PLN to na patronite ja jestem podbudowany powiem ci szczerze twoją tą rozmową naprawdę dowiedziałem się dużo więcej robicie niż mi się wydawało Ja dodam jeszcze jedną rzecz chyba Tomek z twojego obszaru nie wiem jak kolegów kiedyś było bardzo często w komentarzach kiedy mówimy Właśnie o spichlerzu bieliku wszyscy mówią a czy wy jeszcze system operacyjny wariaci zrobicie po co to i tak dalej ja wtedy zawsze mówię była taka może nie system operacyjny ale grupa pld pld czyli Polish Linux Distribution I teraz uwaga jej już nie ma ale wiele osób z mega bigtech znam z tej grupy pld wiele rzeczy trafiło do głównego Linuxa poprawek różnych rzeczy więc to właśnie o to w tym spichlerz to nie te pld zawojował ten świat i cokolwiek masę dobrych rzeczy te pld zrobiło i wiele osób wspomina że tamte dystrybucja pakietów czy inne rzeczy w pld było fantastyczne i chcieli do tego wrócić to jest właśnie to co chcielibyśmy
stworzyć jaam Ty jeszcze od siebie że tak długo jak znam Sebastiana to on zawsze się w takie inicjatywy angażuje i różne tam dziwne pomysły wyciąga i jak raz na ileś lat się spotkamy zawsze mówi wiesz ja teraz robię coś takiego mam Czekamy na kolejne otwarcie przy okazji Quantum computing Dzięki bardzo Sebastian za rozmowę Tak myślę że wszyscy dowiedzieliśmy się bardzo ciekawych rzeczy Dzięki bardzo za sesję No ja czekam na ten Small model na pl pręgierz wytrenowany może być priv i aplikacje Słuchajcie podrzucania danych Dzięki bardzo za rozmowę hej cześć
