一、框架文档 MLX

二、框架安装

（一）创建并使用环境

1
2
3
4
%% python >= 3.10 %%
conda create -n mlx python=3.10

conda activate mlx

（二）安装框架

1
pip install mlx

三、LLM

（一）相关链接

（二）安装 mlx_lm 库

1
pip install mlx-lm

（三）拉取 mlx-examples

1
2
%% 官方示例库，方便学习参考 %%
git clone https://github.com/ml-explore/mlx-examples.git

（四）Hugging Face 模型下载

1
2
3
4
5
6
%% 安装 git-lfs 方便拉取大文件 %%
brew install git-lfs
git lfs install

%% 拉取模型文件 %%
git clone https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct

（五）模型推理 Generate

5.1 Generate from a model

1
2
3
mlx_lm.generate \
--model <path> \
--prompt "<prompt>"

5.2 Generate from a model after finetuning with adapter

1
2
3
4
mlx_lm.generate \
--model <path> \
--adapter-path <path> \
--prompt "<prompt>"

（六）模型微调

6.1 Finetune --Lora

1
2
3
4
5
mlx_lm.lora \
--model <path> \
--train \
--data <path> \
--iters 600

6.2 Fuse 整合

1
2
3
4
mlx_lm.fuse \
--model <path> \
--adapter-path <path> \
--save-path <path>