网站简介：（医学）

HuatuoGPT（华佗GPT），《驯服语言模型成为一名医生》。

✨ 最新消息

• [09/26/2023]: 发布HuatuoGPT-reward-model。
• [06/30/2023]：华佗GPT评测数据在eval/文件夹中发布。
• [06/30/2023]：发布HuatuoGPT-7B和HuatuoGPT-13B的代码、模型权重
• [05/25/2023]：发布技术报告和华拓GPT演示。

⚡ 简介

欢迎来到 HuatuoGPT 的存储库，这是一个在庞大的中文医学语料库上训练的大型语言模型 (LLM)。我们与HuatuoGPT的目标是为医疗咨询场景构建一个更专业的“ChatGPT”。

以下是已发布内容的列表：

1. HuatuoGPT-SFT-data：混合SFT数据，利用两者的优势，赋予模型类似医生和患者友好的特征。
2. HuatuoGPT 模型：HuatuoGPT 模型权重（HuatuoGPT-7B 和 HuatuoGPT-13B）和在线演示。HuatuoGPT-7B在Baichuan-7B上训练，HuatuoGPT-13B在Ziya-LLaMA-13B-Pretrain-v1上训练。
3. 医学评估基准：用于评估医学场景下的法学硕士的评估方法。

? 动机

• 满足在线和医院快速医疗咨询不断增长的需求，这些咨询不一定需要深厚的医学知识。我们相信像HuatuoGPT这样的法学硕士可以有效地满足这些需求，从而为医生腾出时间和精力来处理更复杂的病例。
• 为培训医学法学硕士提供开放数据。为法学硕士构建高质量的教学培训数据至关重要，但也可能具有挑战性。我们使用各种方法构建了医疗指导数据并将其公开。该数据集可以与其他数据集结合来训练自己的医学“ChatGPT”。
• 强调在使用医学法学硕士为患者提供医疗援助之前仔细评估其能力的重要性。我们认识到法学硕士在医学领域的潜在好处，但也承认需要进行彻底的评估和测试，以确保患者的安全和准确的诊断。

? 数据

概述

为了充分利用蒸馏数据（来自 ChatGPT）和真实数据（来自 Doctors），我们首先 HuatuoGPT 使用四种类型的数据进行微调：

下载

• HuatuoGPT-sft-data-v1：HuatuoGPT 监督微调（SFT）阶段使用的数据。

?‍⚕️ 模特

模型访问

请注意，由于 HuatuoGPT-13B-delta 是基于 LLaMA 的模型，因此我们仅发布权重增量。您可以下载 LLaMA-13B 权重并使用 apply_delta.py 进行转换：

python apply_delta.py \
--base-model-path $LLaMA_Base_Path \
--target-model-path $Save_Path \
--delta-path $Delta_Path

部署

首先，您应该安装所有必需的软件包

pip install -r requirements.txt

请确保您已下载我们的模型权重并运行

python -m huatuo_cli_demo_stream.py --model-name $model_dir

? 演示

在https://www.huatuogpt.cn/中尝试我们的模型。请注意，它仍在进行中。

?评价

GPT-4和医生的评估

我们邀请GPT-4和医生来比较HuatuoGPT（13B版本）和其他LLM的反应。评估数据可在eval/文件夹中找到。结果如下：

• 单圈评估

• 多轮评估

基准评估

⚒️培训

准备数据

您可以从HuatuoGPT-sft-data-v1下载 SFT 数据，也可以将 SFT 数据构建为相同的架构。

训练

您可以通过以下方式训练模型：

accelerate launch \
	--config_file scripts/sft.yaml \
	--num_processes 8 \
	--num_machines 1 \
	--machine_rank 0 \
	--deepspeed_multinode_launcher standard scripts/finetune.py \
    --experiment_name HuatuoGPT \
	--model_path /path/to/your/model \
    --gradient_accumulation_steps 8 \
    --max_ckpts 3 \
    --max_seq_len 2048 \
	--data_dir /path/to/your/data \
	--output_dir ./ckpts \
	--log_dir ./train_logs \
	--n_epochs 3 \
	--train_bsz_per_gpu 2 \
	--eval_bsz_per_gpu 2 \
	--learning_rate 5e-5 \
	--eval_step -1 \
	--save_step -1 \
    --gradient_checkpointing

? 限制

我们华拓GPT的目标是解决快速医疗咨询的需求，而不是取代医生或为患者提供全面的医疗支持。然而，我们的模型确实有一些必须考虑的局限性：

• 误解：与所有语言模型一样，存在误解或曲解的风险，特别是在处理医学术语或复杂情况时。在这种情况下，我们的模型可能会给出错误的答案。
• 幻觉：大型语言模型有时会生成没有意义或与给定输入完全无关的响应。当用户不熟悉所讨论的概念时，这些“幻觉”可能尤其成问题，因为他们可能无法轻松识别模型输出中的错误。这些“幻觉”可能很难检测和避免。
• 偏差：法学硕士是在大型数据集上进行训练的，这可能会无意中将偏差引入模型的响应中。此外，应注意确保该模型不会被用来延续医疗治疗中的偏见。

致谢

我们知道我们的作品受到以下作品的启发，包括但不限于

• IDEA-CCNL/Ziya-LLaMA-13B-Pretrain-v1：https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-Pretrain-v1
• Baichuan-7B：https://huggingface.co/baichuan-inc/baichuan-7B
• 骆驼： https: //arxiv.org/abs/2302.13971
• 自指导： https: //github.com/yizhongw/self-instruct

没有这些，这个存储库中就不会发生任何事情。

引文

@article{huatuogpt-2023,
  title={HuatuoGPT, Towards Taming Language Models To Be a Doctor},
  author={Hongbo Zhang and Junying Chen and Feng Jiang and Fei Yu and Zhihong Chen and Jianquan Li and Guiming Chen and Xiangbo Wu and Zhiyi Zhang and Qingying Xiao and Xiang Wan and Benyou Wang and Haizhou Li},
  journal={arXiv preprint arXiv:2305.15075},
  year={2023}
}

我们来自香港中文大学（深圳）数据科学学院（CUHKSZ）和深圳大数据研究院（SRIBD）。