IIIIIllllIIIIIlllll/gfx1151-engine: open-source utility for developers and tinkerers
English: READMEEN.md 在单张 AMD Strix Halo APU(gfx1151)上运行 177B MoE 模型的本地推理引擎, 目标模型为 Qwen3.8-Flash-Next(qwen4_exp 架构)及其同结构微调。 68 GiB 量化权重以 4-bit 量化存放在主机内存,GPU kernel 直读,不需要大显存; 整机 122 GiB 内存即可提供 256K 上下文...
Continue Reading