Applying vision transformer to assess multi-scale morphological features in mammography for breast cancer detection: multiscale image morphological extraction vision transformer (MIME-ViT)

マンモグラフィ検診は、特に高濃度乳房で感度・特異度が十分でないことがあり、見逃しや不要な精密検査につながります。CNN や Vision Transformer (ViT) といった深層学習モデルの発展は、この課題を改善する機会になります。

放射線科医は乳房全体(マクロ)と微細な所見(ミクロ)の両方を見て読影します。MIME-ViT はこの読み方を模して、複数のスケールで画像の形態的特徴を同時に抽出するよう設計されました。

学習・評価には、中国人患者 1,775 名(2012年7月〜2016年1月)のマンモグラムからなる公開データ CMMD に、病変のセグメンテーションを追加した TOMPEI-CMMD を使用しました。MLO 方向の画像のみを用い、乳房単位で 2,601 枚の画像を対象としています。

患者単位で 7:1.5:1.5 に分割し、学習 1,819 枚・検証 391 枚・テスト 391 枚としました。画像は黒でパディングして 2,294×2,294 にした後、2,048×2,048 にリサイズしています。

MIME-ViT は 512×512、256×256、64×64、16×16 ピクセルのパッチを入力とする4本の ViT 分岐と、残差ブロック(3×3 カーネル)からなる CNN 分岐を持ちます。16×16 の分岐は GPU メモリの制約から、ViT の前に畳み込みとプーリングを挟んでいます。

各分岐の出力は連結(concatenation)で統合され、2,048×2,048 画像の 64×64 ピクセル領域ごとに病変の有無を出力します。病変マスクが領域の 20% を超えて覆う場合を陽性としました。損失関数は Dice loss と Focal loss の組み合わせで、事前学習は行っていません。パラメータ数は 112.9M(DETR は 41.3M)です。

比較対象は DETR と YOLOv8x で、それぞれ事前学習なし(Scratch)と COCO 事前学習あり(Pretrained)を用意しました。評価指標は、病変を含む画像での平均 IoU と、病変のない画像での特異度です。

MIME-ViT の平均 IoU は全病変 0.3342、腫瘤 0.3797、石灰化 0.2491 でした。DETR-Scratch(0.0000)は上回りましたが、DETR-Pretrained(0.3691)、YOLOv8x-Scratch(0.3400)、YOLOv8x-Pretrained(0.4516、全体で最良)より低い値です。

石灰化では、MIME-ViT(0.2491)は YOLOv8x-Pretrained(0.2796)に次ぐ値で、DETR-Pretrained(0.0280)や YOLOv8x-Scratch(0.0454)を大きく上回りました。また全カテゴリで IoU の標準偏差が最も小さく、石灰化では中央値が YOLOv8x-Pretrained より高くなっています。

アブレーションでは、ViT 分岐(512 / 256 / 64)のいずれかの除去、5×5 カーネルへの変更、加算による統合のいずれでも平均 IoU が 0.2947〜0.3198 に低下し、各構成要素が性能に寄与していることが示されました。

ViT と CNN を組み合わせたマルチスケール設計により、約1,800枚という限られた学習データから事前学習なしで病変の位置推定を学習できることを示しました(同条件の DETR は検出できませんでした)。微小な所見である石灰化で比較的安定した性能を示した点も特徴です。

Kashiwada Y, Takaya E, Hiroya M, Matsuda N, Yashima T, Kobayashi T, Tamiya G, Ueda T. 2025. Applying vision transformer to assess multi-scale morphological features in mammography for breast cancer detection: multiscale image morphological extraction vision transformer (MIME-ViT). PeerJ Computer Science 11:e3252 https://doi.org/10.7717/peerj-cs.3252

Kashiwada, Y., Takaya, E., Hiroya, M., Matsuda, N., Yashima, T., Kobayashi, T., Tamiya, G., & Ueda, T. (2025). Applying vision transformer to assess multi-scale morphological features in mammography for breast cancer detection: multiscale image morphological extraction vision transformer (MIME-ViT). PeerJ Computer Science, 11, e3252. https://doi.org/10.7717/peerj-cs.3252

@article{kashiwada2025mimevit,
  author       = {Kashiwada, Yuki and Takaya, Eichi and Hiroya, Mei and Matsuda, Nanako and Yashima, Takumi and Kobayashi, Tomoya and Tamiya, Gen and Ueda, Takuya},
  title        = {Applying vision transformer to assess multi-scale morphological features in mammography for breast cancer detection: multiscale image morphological extraction vision transformer {(MIME-ViT)}},
  journal      = {PeerJ Computer Science},
  volume       = {11},
  pages        = {e3252},
  issn         = {2376-5992},
  publisher    = {PeerJ Inc.},
  year         = {2025},
  doi          = {10.7717/peerj-cs.3252},
  url          = {https://doi.org/10.7717/peerj-cs.3252}
}

引用ファイル: kashiwada2025mimevit.bib (BibTeX) · kashiwada2025mimevit.ris (RIS / EndNote / Zotero)