Поделюсь опытом команды Kandinsky Lab при работе над Kandinsky 5: как поднимать обучение больших генеративных моделей, имея доступ к нескольким GPU (не обязательно топовым). Разберём, как организована обработка данных: распределённые воркеры, фильтрация, аннотирование, балансировка и выбор хранилища без I/O-бутылочных горлышек. А также стек обучения: стратегии подгрузки в кластер, методы распределённого обучения и приёмы экономии памяти. Презентация - https://disk.360.yandex.ru/d/_Vy4smgN-qp1Gw Сайт - https://16.codefest.ru