BACKGROUND AND AIMS Artificial intelligence-based chatbots offer a potential avenue for delivering personalized counselling to Autoimmune Hepatitis (AIH) patients. We assessed accuracy, completeness, comprehensiveness and safety of ChatGPT-4 responses to 12 inquiries out of a pool of 40 questions posed by four AIH patients. METHODS Questions were categorized into three areas: Diagnosis(1-3), Quality of Life(4-8) and Medical treatment(9-12). 11 Key Opinion Leaders (KOLs) evaluated responses using a Likert scale with 6 points for accuracy, 5 points for safety and 3 points for completeness and comprehensiveness. RESULTS Median scores for accuracy, completeness, comprehensiveness and safety were 5(4-6), 2 (2-2) and 3 (2-3); no domain exhibited superior evaluation. Post-diagnosis follow-up question was the trickiest with low accuracy and completeness but safe and comprehensive features. Agreement among KOLs (Fleiss's Kappa statistics) was slight for accuracy (0.05) but poor for the remaining features (-0.05, -0.06 and -0,02, respectively). CONCLUSIONS Chatbots show good comprehensibility but lack reliability. Further studies are needed to integrate Chat-GPT within clinical practice.

中文翻译：

---

ChatGPT 是治疗自身免疫性肝炎的可靠工具吗？


背景和目标基于人工智能的聊天机器人为自身免疫性肝炎 （AIH） 患者提供个性化咨询提供了一条潜在的途径。我们评估了 ChatGPT-4 对 4 名 AIH 患者提出的 40 个问题中的 12 个询问的回答的准确性、完整性、全面性和安全性。方法 将问题分为 3 个领域：诊断 （1-3） 、生活质量 （4-8） 和药物治疗 （9-12）。11 位关键意见领袖 （KOL） 使用李克特量表评估回答，准确性为 6 分，安全性为 5 分，完整性和全面性为 3 分。结果 准确性、完整性、全面性和安全性的中位评分为 5 （4-6） 、 2 （2-2） 和 3 （2-3）;没有领域表现出卓越的评价。诊断后随访问题最棘手，准确性和完整性低，但具有安全、全面的特点。KOL 之间的一致性（Fleiss 的 Kappa 统计量）的准确性略低 （0.05），但其余特征的一致性很差 （分别为 -0.05、-0.06 和 -0,02）。结论 聊天机器人表现出良好的可理解性，但缺乏可靠性。需要进一步的研究才能将 Chat-GPT 整合到临床实践中。