阿爾茨海默病（AD）是一種進行性、不可逆的神經系統退行性疾病，基于磁共振成像（MRI）的神經影像學檢查是進行AD篩查與診斷最直觀、可靠的方法之一。臨床上頭顱MRI檢測會產生多模態影像數據，為解決多模態MRI處理與信息融合的問題，本文提出基于廣義卷積神經網絡（gCNN）的結構MRI和功能MRI特征提取與融合方法。該方法針對結構MRI提出基于混合注意力機制的三維殘差U型網絡（3D HA-ResUNet）進行特征表示與分類；針對功能MRI提出U型圖卷積神經網絡（U-GCN）進行腦功能網絡的節點特征表示與分類。在兩類影像特征融合的基礎上，基于離散二進制粒子群優化算法篩選最優特征子集，并使用機器學習分類器輸出預測結果。來自AD神經影像學計劃（ADNI）開源數據庫的多模態數據集驗證結果表明，本文所提出的模型在各自數據域內都有優秀的表現，而gCNN框架結合了兩類模型的優勢，進一步提高使用單一模態MRI的方法性能，將分類準確率和敏感性分別提升了5.56%和11.11%。綜上，本文所提出的基于gCNN的多模態MRI分類方法可以為AD的輔助診斷提供技術基礎。