Lit-GPT

6小时前发布 1 0 0

一个 基于 Lit-LLaMA 和 nanoGPT 实现,支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。 支持闪存注意力,Int8和GPTQ 4bit量化,LoRA和LLaMA-Adapter微调,预训练等功能 。

语言:
zh
收录时间:
2026-08-31

一个 基于 Lit-LLaMA 和 nanoGPT 实现,支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。 支持闪存注意力,Int8和GPTQ 4bit量化,LoRA和LLaMA-Adapter微调,预训练等功能 。

数据统计

相关导航