大語(yǔ)言模型（LLM），例如 ChatGPT、Gemini，推動(dòng)了自然語(yǔ)言處理（NLP）技術(shù)的迅猛發(fā)展，這些技術(shù)能夠實(shí)現文本理解以及類(lèi)似人類(lèi)的響應生成。
之前的大語(yǔ)言模型已顯示出解讀放射影像的潛力，從而有助于異常檢測并輔助做出診斷決策。GPT-4o 是 OpenAI 于 2024 年 5 月發(fā)布的最新視覺(jué)大語(yǔ)言模型，能夠實(shí)時(shí)對音頻、視覺(jué)和文本進(jìn)行推理處理，突顯了其在多模態(tài)醫療應用中的潛在用途。然而，基于視覺(jué)大語(yǔ)言模型的視頻處理在臨床環(huán)境中的應用尚未得到探索。
2025年3月4日，中國醫科大學(xué)宋江典、張麗娜、裴冬梅等人在 Cell 子刊 Cell Reports Medicine 上發(fā)表了題為：Assessments of Lung Nodules by an Artificial Intelligence Chatbot Using Longitudinal CT Images 的研究論文。
該研究證明，當前多模態(tài)視覺(jué)大語(yǔ)言模型 GPT-4o 能夠在肺癌患者隨訪(fǎng) CT 掃描圖像上對肺部癌變影像特征進(jìn)行精準的放射學(xué)表述報告，動(dòng)態(tài)監測癌變趨勢，并對隨訪(fǎng)過(guò)程中病變尺寸變化進(jìn)行準確測量。
在基于計算機斷層掃描（CT）圖像的肺癌分析的背景下，深度學(xué)習的進(jìn)步顯著(zhù)影響了腫瘤的篩查和診斷。然而，深度學(xué)習模型的輸出通常缺乏可解釋的推理，這給臨床應用帶來(lái)了挑戰，盡管它們有經(jīng)過(guò)驗證的性能指標。這種限制源于深度學(xué)習算法的復雜性，其中內部決策過(guò)程對最終用戶(hù)來(lái)說(shuō)仍然很大程度上是模糊的。盡管傳統的臨床推理遵循醫師可以向患者解釋的明確診斷路徑，但深度學(xué)習模型通常只提供預測，而不揭示導致其結論的具體特征或模式。
近期，GPT 模型已展現出能夠根據放射學(xué)報告自動(dòng)標注腫瘤表型并確定 TNM 分期的潛力。然而，能夠動(dòng)態(tài)測量一系列 CT 圖像中肺結節大小和特征的變化對于評估惡性腫瘤風(fēng)險的進(jìn)展以及指導及時(shí)的臨床干預至關(guān)重要，尤其是對于早期肺癌而言。
大量的臨床證據表明，結節直徑的增大與惡性腫瘤風(fēng)險之間存在關(guān)聯(lián)。因此，通過(guò)后續的 CT 評估來(lái)追蹤動(dòng)態(tài)結節變化，能夠為潛在惡性風(fēng)險的評估提供有價(jià)值的見(jiàn)解。
目前，這一過(guò)程需要放射科醫生對每一張后續的 CT 圖像進(jìn)行人工審查；因此，結節變化的評估耗時(shí)且易受觀(guān)察者間差異的影響。這種差異在中期 CT 掃描中存在細微但關(guān)鍵的細節時(shí)尤為明顯，比如小支氣管受累或血管侵犯——這些都是惡性腫瘤進(jìn)展的關(guān)鍵指標。結節特征動(dòng)態(tài)變化的自動(dòng)化評估能夠顯著(zhù)提高放射學(xué)效率，并有助于早期發(fā)現和及時(shí)管理肺癌高危患者。
在這項最新研究中，研究團隊旨在利用 GPT-4o 的先進(jìn)功能，通過(guò)個(gè)體患者的縱向 CT 隨訪(fǎng)圖像來(lái)估計肺結節惡性的概率以及結節大小和特征的動(dòng)態(tài)變化。通過(guò)模擬放射科醫生在查看 CT 圖像視頻時(shí)所采用的視覺(jué)檢查程序，該研究旨在評估 GPT-4o 準確評估結節特征隨時(shí)間變化的能力，并確定 GPT-4o 在肺癌篩查和臨床監測中提高診斷準確性和效率的潛力。
研究團隊評估了最新的生成式預訓練模型 GPT-4o 對 647 名患者（其中 547 名來(lái)自中國醫科大學(xué)第四附屬醫院和中國醫科大學(xué)附屬盛京醫院，另外 100 名來(lái)自一個(gè)公共數據集）的縱向 CT 掃描圖像中肺結節惡性概率、大小和特征變化的評估能力。
結果顯示，GPT-4o 在預測肺結節惡性程度方面，與病理結果相比平均準確率為 0.88，在測量結節大小方面，與放射科醫生的手動(dòng)測量相比，平均組內相關(guān)系數為 0.91。六位放射科醫生的評估表明，GPT-4o 能夠捕捉結節特征的變化，其 Likert 評分評分的中位數為 4.17（滿(mǎn)分 5.00）。
該研究的亮點(diǎn)：
● GPT-4o 在縱向 CT 圖像中評估肺結節的惡性進(jìn)展情況；
● GPT-4o 監測結節大小和紋理特征的動(dòng)態(tài)變化；
● 與深度學(xué)習模型相比，GPT-4o 提供了可解釋的預測結果；
● GPT-4o 提供精準的放射學(xué)見(jiàn)解，以支持臨床決策。
總的來(lái)說(shuō)，這項研究借助于當前多模態(tài)視覺(jué)大語(yǔ)言模型對圖像（特別是視頻數據）的前沿解析能力，設計了基于 GPT-4o 的 CT 圖像肺癌病變自動(dòng)分析工作流程。該研究將單次掃描的連續 CT 圖像組成視頻，把每個(gè)患者多時(shí)間點(diǎn)隨訪(fǎng) CT 視頻數據依次輸入 GPT-4o 的工作流程，結果發(fā)現，當前視覺(jué)大語(yǔ)言模型能夠在 Prompt（提示詞）給定病變坐標的前提下，準確識別并分割出病變區域。基于所識別的病變區域，以標準放射學(xué)報告語(yǔ)言輸出病變尺寸、邊界、形態(tài)、紋理等影像征象在隨訪(fǎng)過(guò)程中的變化，并在動(dòng)態(tài)隨訪(fǎng)監測過(guò)程中實(shí)時(shí)調整對病變區域癌變概率的評估，顯著(zhù)提高了肺癌病變風(fēng)險預測精度。
總的來(lái)說(shuō)，這項研究為臨床上更精準地評估肺癌患者癌變風(fēng)險概率，并為個(gè)體化的肺癌患者動(dòng)態(tài)監測與臨床管理提供了新思路。
論文鏈接：
https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(25)00061-8
合作咨詢(xún)
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國際展覽有限公司版權所有（保留一切權利）
滬ICP備05034851號-57
