站長(zhǎng)之家（ChinaZ.com）9月1日 消息:復(fù)旦大學(xué)數(shù)據(jù)智能與社會(huì)計(jì)算實(shí)驗(yàn)室（FudanDISC）發(fā)布了中文醫(yī)療健康個(gè)人助手DISC-MedLLM。該模型在單輪問(wèn)答和多輪對(duì)話的醫(yī)療健康咨詢?cè)u(píng)測(cè)中表現(xiàn)出色，相比已有醫(yī)學(xué)對(duì)話模型具有明顯優(yōu)勢(shì)。課題組同時(shí)公開(kāi)了包含47萬(wàn)高質(zhì)量監(jiān)督微調(diào)樣本的DISC-Med-SFT數(shù)據(jù)集，以及模型參數(shù)和技術(shù)報(bào)告。
DISC-MedLLM的三大特點(diǎn):
1）可靠豐富的專業(yè)知識(shí)，基于醫(yī)學(xué)知識(shí)圖譜采樣獲得;
2）多輪對(duì)話的問(wèn)詢能力，基于真實(shí)咨詢對(duì)話重建;
3）對(duì)齊人類偏好的回復(fù)，通過(guò)篩選生成高質(zhì)量小樣本指導(dǎo)模型。DISC-Med-SFT數(shù)據(jù)集利用通用大模型的語(yǔ)言能力，圍繞這三個(gè)方面進(jìn)行針對(duì)性強(qiáng)化。
主頁(yè)地址:https://med.fudan-disc.com
Github 地址:https://github.com/FudanDISC/DISC-MedLLM
技術(shù)報(bào)告:https://arxiv.org/abs/2308.14346
研究團(tuán)隊(duì)采用兩階段訓(xùn)練方法。第一階段使用MedDialog、cMedQA2等數(shù)據(jù)集進(jìn)行監(jiān)督微調(diào)，同時(shí)加入通用數(shù)據(jù)集增強(qiáng)語(yǔ)言表達(dá)能力。第二階段使用行為偏好小樣本數(shù)據(jù)集進(jìn)行微調(diào)，進(jìn)一步提高模型表現(xiàn)。
在單輪問(wèn)答評(píng)測(cè)中，DISC-MedLLM在零樣本設(shè)置下表現(xiàn)強(qiáng)勁，在小樣本設(shè)置下僅次于GPT-3.5，優(yōu)于專業(yè)醫(yī)學(xué)問(wèn)答模型HuatuoGPT。在多輪對(duì)話評(píng)測(cè)中，研究團(tuán)隊(duì)采用多種策略構(gòu)建高質(zhì)量的DISC-Med-SFT數(shù)據(jù)集:
1）重構(gòu)AI醫(yī)患對(duì)話。從MedDialog和cMedQA2中抽取樣本，使用GPT-3.5重構(gòu)對(duì)話，調(diào)整回復(fù)風(fēng)格使其符合AI助手。
2）知識(shí)圖譜問(wèn)答。基于醫(yī)學(xué)知識(shí)圖譜CMeKG進(jìn)行三元組采樣，生成專業(yè)醫(yī)學(xué)問(wèn)答樣本。
3）行為偏好樣本。人工篩選MedDialog和cMedQA2中的高質(zhì)量樣本，使用GPT-3.5生成符合人類行為偏好的樣本。
4）通用數(shù)據(jù)。加入通用數(shù)據(jù)集樣本，增強(qiáng)模型基礎(chǔ)語(yǔ)言能力。
5）問(wèn)答樣本。使用英文醫(yī)學(xué)問(wèn)答數(shù)據(jù)集生成中文醫(yī)學(xué)問(wèn)答樣本。
研究人員計(jì)算真實(shí)咨詢分布，以此指導(dǎo)樣本構(gòu)造，并利用回路和人在回路兩種思路生成樣本，使數(shù)據(jù)集質(zhì)量和多樣性顯著提高。
DISC-MedLLM彌補(bǔ)了現(xiàn)有模型在醫(yī)療知識(shí)、對(duì)話技能和人類偏好方面的不足，展示了構(gòu)建高質(zhì)量領(lǐng)域特定數(shù)據(jù)集以及數(shù)據(jù)集驅(qū)動(dòng)方法培訓(xùn)專業(yè)對(duì)話模型的有效性。
（舉報(bào)）