v0.8.0
‒ 添加qwen1.5模型的Megatron LM和Megatron-Core Transformer Engine实现。
‒ 完成Pai-Megatron-Patch工具基于Instruction Tuning的微调链路HFDS和Megatron引擎的下游任务效果对齐工作。
‒ 基于Megatron-Patch的工具实施的MoE-Upcycled算法取得阶段性成果。
‒ 修复已知的Bugs。
‒ 添加qwen1.5模型的Megatron LM和Megatron-Core Transformer Engine实现。
‒ 完成Pai-Megatron-Patch工具基于Instruction Tuning的微调链路HFDS和Megatron引擎的下游任务效果对齐工作。
‒ 基于Megatron-Patch的工具实施的MoE-Upcycled算法取得阶段性成果。
‒ 修复已知的Bugs。