️ Witaj w 120 odcinku podcastu "Biznes Myśli"! Dzisiaj zagłębiamy się w temat wytrenowania własnych modeli LLM, czyli dużych modeli językowych, pod własnym dachem. Gościem odcinka jest Marek Kozłowski, ekspert od NLP (Natural Language Processing) i machine learning, pracujący w AI Labie w OPI (Ośrodku Przetwarzania i Informacji, Państwowy Instytut Badawczy).W tym odcinku rozmawiamy o:Dlaczego trenowanie własnych modeli LLM jest tak ważne dla rozwoju Polski? Marek wyjaśnia, dlaczego własne modele LLM mogą być kluczem do rozwoju nowoczesnej gospodarki, innowacyjności i kompetencji.Jak wygląda proces trenowania modeli LLM? Marek krok po kroku omawia poszczególne etapy uczenia, od pre-trainingu, przez fine-tuning, aż do procesu ewaluacji i walidacji. - Jakie są konkretne wyzwania i możliwości związane z budową ekosystemu modeli LLM w Polsce? Marek omawia inicjatywy takie jak konsorcjum PLLuM i stowarzyszenie Speaklish, a także dzieli się swoimi przemyśleniami na temat potencjału rozwoju modeli LLM w naszym kraju.Kluczowe punkty odcinka:LLM to coś w rodzaju nowoczesnej waluty: posiadanie własnego modelu LLM może dać przewagę konkurencyjną i wpłynąć na rozwój gospodarki i innowacyjności.Dane to klucz: jakość i ilość danych są kluczowymi elementami determinującymi jakość modeli LLM.Ekosystem jest ważniejszy niż pojedynczy model: budowanie ekosystemu modeli LLM, z odpowiednim zestawem danych, narzędzi i kompetencji, jest niezbędne do osiągnięcia sukcesu.Dodatkowo:Marek opowiada o doświadczeniach i projektach realizowanych w AI Labie w OPI, w tym o systemie antyplagiatowym JSA i modelach Qra i MMLW.Podnosi kwestię otwartości modeli LLM i podkreśla, że kluczowe jest tworzenie modeli dostępnych dla wszystkich.Zapraszam do wysłuchania tego inspirującego odcinka!Spis treści:00:00:00 - Wprowadzenie00:01:35 - Kim jest Marek Kozłowski?00:03:35 - OPI i AI Lab - co to jest i czym się zajmuje?00:10:40 - Historia deep learningu i NLP w Polsce00:12:40 - Jakie książki Marek ostatnio czytał?00:16:10 - OPI - software house I laboratoria00:20:00 - Projekty zrealizowane przez AI Lab w OPI00:25:00 - Dane i ich znaczenie dla budowy modeli LLM00:30:10 - Definicja modeli LLM00:33:00 - Reprezentacyjne i generatywne modele LLM 00:37:00 - OpenAI i Google - historia sukcesu i porażki 00:40:00 - Dane jako klucz do sukcesu00:41:35 - Etapy uczenia modeli LLM 00:53:00 - Dlaczego warto budować modele LLM pod własnym dachem?00:56:00 - Konsorcjum PLLuM 01:06:00 - Ekosystem usług oparty o AI01:14:00 - Racją stanu01:16:00 - Przyszłość AI w Polsce01:17:00 - Otwartość modeli LLM 01:17:40 - Podsumowanie i zaproszenie do kolejnych odcinkówPamiętaj o:Subskrybowaniu kanału!Komentarzach i ocenie odcinka.Udostępnieniu podcastu innym!Do zobaczenia w kolejnym odcinku Biznes Myśli!LinkedIn:Marek Kozłowski: https://www.linkedin.com/in/marek-kozłowski-phd-97a20945/Vladimir Alekseichenko: https://www.linkedin.com/in/vladimiralekseichenko/Link: https://biznesmysli.pl/sztuczna-inteligencja-pod-wlasnym-dachemNewsletter: https://biznesmysli.pl/newsletterModele:https://huggingface.co/core42/jais-13bhttps://huggingface.co/OPI-PG/Qra-13b https://huggingface.co/speakleash/Bielik-7B-v0.1Benchmarks:KLEJ: https://klejbenchmark.com/leaderboard/MTEB: https://huggingface.co/spaces/mteb/leaderboard