Skip to content

Conversation

@MoringLotus
Copy link

@MoringLotus MoringLotus commented Jan 22, 2026

描述内容:

  1. 核心实现 (Core Implementation)
    模型架构构建:完成了模型核心前向传播链路的开发,包括 Embedding 层、FFN、Router 以及 Expert 模块的逻辑实现。

算子开发:完成了 BiAttention 算子的自主实现,并已正式提交至 InfiniCore 仓库。

  1. 工程适配与集成 (Engineering & Integration)
    主要算子集成:完成了核心算子在框架内的集成与推理模型的全链路集成。

PR 提交记录:
InfiniLM (PR #197):模型主体框架与推理逻辑集成。
InfiniCore (PR #966):BiAttention 算子实现及针对 64 专家配置 的相关专家算子适配工作。

  1. 后续计划 (Future Work)
    代码迭代优化:基于当前已跑通的框架,后续将进一步对部分算子实现及推理效率进行迭代优化。
    精度深度对齐:针对数值稳定性与精度对齐进行持续跟踪与微调。

@MoringLotus MoringLotus requested a review from a team January 22, 2026 05:05
@MoringLotus MoringLotus changed the title LLaDA实现(暂未全部完成) LLaDA实现 Jan 26, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant