本期為您推薦一篇醫(yī)學(xué)圖像分析領(lǐng)域的最新研究成果：
深圳大學(xué)：倪東教授課題組? ?
論文作者：黃雨灝，楊鑫，劉戀，周涵，常澳，周心睿，陳汝鍶，余俊軒，陳炯權(quán)，陳超宇，池昊哲，胡歆迪，劉思菁，范登平，董發(fā)進(jìn)#，倪東#
研究成果鏈接：
https://arxiv.org/pdf/2304.14660.pdf
近半年來，ChatGPT、DALL·E等引發(fā)了大規(guī)模基礎(chǔ)AI模型的狂潮。4月初，Meta AI 發(fā)布第一個(gè)用于圖像分割的大規(guī)模基礎(chǔ)模型Segment Anything Model (SAM)。SAM最大的亮點(diǎn)是它對(duì)未知的數(shù)據(jù)集和任務(wù)具有良好的零樣本（zero-shot）分割性能。分割過程可全自動(dòng)（Everything模式）或由不同的手工提示（Prompt模式）驅(qū)動(dòng)，例如，文字、點(diǎn)和方框。
為了全面評(píng)估分析SAM在醫(yī)學(xué)影像分割上的表現(xiàn)，團(tuán)隊(duì)收集并標(biāo)準(zhǔn)化了52個(gè)公共數(shù)據(jù)集，最終整理構(gòu)建了一個(gè)包含16種影像模態(tài)和68種生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)（表1）的大型醫(yī)學(xué)影像分割數(shù)據(jù)集COSMOS 553K，數(shù)據(jù)集的展示見圖1，統(tǒng)計(jì)信息見圖2。
圖1 COSMOS 553K涵蓋了大多數(shù)醫(yī)學(xué)影像模態(tài)和生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)。例如，腦腫瘤、眼底血管、甲狀腺結(jié)節(jié)、脊柱、肺、心臟、腹部器官或腫瘤、細(xì)胞、息肉和手術(shù)儀器等。人體圖像來自Freepik，作者為brgfx(網(wǎng)址https://www.freepik.com/free-vector/anatomical-structure-human-body 27539420.htm)。
圖2 COSMOS 553K的統(tǒng)計(jì)信息。(a)收集到的公開數(shù)據(jù)集處理后的數(shù)據(jù)量；(b)目標(biāo)類別的直方圖分布；(c)影像模態(tài)的直方圖分布；(d)圖像分辨率的直方圖分布。SAM提供不同類型的分割提示Prompt，包括點(diǎn)和方框等。點(diǎn)的提示包括表示前景的正樣本和表示背景的負(fù)樣本點(diǎn)。方框表示需要分割的物體的區(qū)域。我們的測試策略包括Everything模式：自動(dòng)分割?(S1H,?S1B)以及Prompt模式：單個(gè)正樣本點(diǎn)?(S2)、五個(gè)正樣本點(diǎn)?(S3)、五個(gè)正樣本點(diǎn)和五個(gè)負(fù)樣本點(diǎn)?(S4)、單個(gè)方框?(S5)、單個(gè)方框和單個(gè)正樣本點(diǎn)(S6)，圖3展示了我們?cè)O(shè)計(jì)的SAM測試框架。
圖3 本研究設(shè)計(jì)的SAM詳細(xì)測試框架。本研究全面地評(píng)估了SAM的各種模式在大規(guī)模、多樣化的醫(yī)學(xué)影像數(shù)據(jù)集上的分割性能，DICE指標(biāo)評(píng)估結(jié)果如圖4所示。
圖4 不同測試策略的DICE箱線圖。從上到下：S1H、S2、S3、S4、S5、S6。
圖5 Everything模式的可視化結(jié)果。
圖6 Everything模式下網(wǎng)格采樣點(diǎn)數(shù)量對(duì)分割性能的影響。
圖7 典型的SAM良好案例。
圖8 典型的SAM失敗案例。
圖9 DICE與目標(biāo)不同屬性的散點(diǎn)圖。
本期供稿丨黃雨灝
編輯丨羅夢(mèng)薇 劉戀 周涵
審核丨楊鑫 倪東
