На 20 ноември 2025 г. Ant Group обяви отворения код на Awex, рамка за смяна на тежести за обучение с трилиони параметри, която завършва обмена на параметри в TB мащаб за секунди, като значително намалява латентността на обучението на RL модела.
Awex води в производителността: Под RDMA на клъстер от хиляда карти, той синхронизира теглото на модела от 1TB за 6 секунди, с пълна синхронизация на трилион параметри също само за 6 секунди. Той поддържа NCCL, споделена памет и други режими, съвместими с многомоделни архитектури и разнородни внедрявания, минимизирайки режийните разходи чрез предаване с нулев излишък и актуализации на място.
Като основен компонент на системата ASystem RL на Ant Group (захранваща обучението на модела с трилион параметри на Bailian), Awex се интегрира с двигатели Megatron и SGLang. Ant планира да отвори с отворен код повече ASystem RL компоненти, за да подсили отворената RL екосистема.
Източник: IT Home
Source link
Like this:
Like Loading…
Нашия източник е Българо-Китайска Търговско-промишлена палaта
