Full retpoline

序言 本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，私有化部署Llama3模型，并对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。 快速体验基础版本，请参考另一篇博客：快速体验LLaMA3模型微调（曙光超算互联网平台国产异构加速卡DCU） 一、参考资料 github仓库代码：LLaMA-Factory，使用最新的代码分支：v0.8.3 超算互联网平台 异构加速卡AI 显存64GB PCIE Llama3本地部署与高效微调入门 快速体验LLaMA3模型微调（曙光超算互联网平台国产异构加速卡DCU） 二、准备环境 异构加速卡AI为国产加速卡，基于DTK软件栈（对标NVIDIA的CUDA），请选择 dtk24.04 版本的镜像环境。 以jupyterlab-pytorch:2.1.0-ubuntu20.04-dtk24.04-py310 镜像为例。 特别注意：要求最低版本 transformers 4.41.2，vllm 0.4.3 。 必需项至少推荐 python 3.8 3.11...