机器学习已被用于捕获超出人类感知的大型复杂数据中的模式，并使用这些模式进行数据驱动的预测。在成像科学和计算机科学的进展已经协同导致在使用机器的演变兴趣学习医学图像分析，包括原发性脑肿瘤。高级别胶质瘤仍然是一种侵略性和致命的疾病; 然而，随着肿瘤基因组学的突破和靶向治疗的良好开端，研究人员准备进一步受益于应用于脑肿瘤成像的机器学习的进步。近年来，使用机器学习技术及其子领域深度学习的脑肿瘤报告数量迅速增长。在这里，研究人员回顾了最近在机器学习和胶质瘤分割和MRI放射组学方面的工作引起很多关注的两个特定领域 - 从对可用资源的简短讨论开始。正如研究人员将要看到的，这两个区域密切相关，稳定和可重复的肿瘤分割是许多放射学分析的先决条件。最终，可以利用堆叠机器学习算法的能力从图像数据到分段到诊断或结果。研究人员将重点介绍未来的承诺，以及这些应用程序为更好的临床诊断，预测和决策制定所面临的挑战。
　　 许多机器学习方法已应用于脑肿瘤的MRI数据，几乎所有这些都是监督方法。在有监督的机器学习中，每个数据点都有一个基本事实，通常由专家标记。数据分为训练，验证和测试集。训练集用于开发算法，通常使用对旋转的内部数据子集的交叉验证来测试准确度，并且使用保持的测试集来最终评估所开发的算法对看不见的数据的可普遍性。例如，在将胶质瘤分类为特定基因组亚型的项目中,例如IDH野生型与IDH突变型，标签为IDH突变状态。该算法旨在使用神经胶质瘤基因组亚型的估计输出和真实输出之间的损失函数来找到基本上最小化误差的网络权重的值。
　　 拥有代表较大人口的高质量地面实况数据对于推导和评估质量算法非常重要。医学成像的挑战之一是策划这些数据集可能很费力且数据是异构的。事实上，使用的机器学习算法对于脑肿瘤分割早期作品大多是使用数据集作为小10-25名患者具有不同量化性能的方法和指标。这引入了过度拟合（开发一种对训练集过于具体而又无用的算法）作为一个重要问题，并在方法之间进行客观比较。有几种可能的方法来处理有限的成像数据集，包括在使用更多标准机器学习技术时使用手工设计的生物学知识特征。对于深度学习方法，可以采用几种方法来处理医学成像中可能遇到的较小数据集，包括辍学，数据增强，基于补丁的直方图分析，以及生成对抗网络。
　　 为了帮助解决跨站点成像异质性的挑战并创建脑肿瘤病例的中央多机构数据库，医学图像计算和计算机辅助干预协会引入了一年一度的脑肿瘤分割挑战在2012年，2017年脑肿瘤分割挑战训练数据集来自19个机构，包括210名独特的高级别胶质瘤患者和75名低级别胶质瘤患者的脑部MRI扫描。来自其他患者的46次单独扫描用作验证数据集。所有病例均由多名神经放射学家手动分割。数据包括通过大脑进行共同注册和颅骨剥离T2加权，未增强T1加权，对比增强T1加权和T2加权FLAIR图像，以及3D分割掩模作为基础事实。肿瘤周围水肿，增强肿瘤，增强肿瘤。此外，脑肿瘤分割挑战参与者也面临着开发一种预测生存的算法的挑战。以此目的，
　　 第二公开可用的数据集是癌症基因组图谱，其是可通过该癌症成像存档和由术前的MR图像的患者成胶质细胞瘤（N= 135）和低grade-胶质瘤（n = 108）。此外，还包括一组放射学特征的强度，体积，形态，直方图和纹理参数，以及从胶质瘤生长模型中提取的空间信息和参数。
　　 需要简单，快速和准确的胶质瘤定量分析,以更好地指导有关治疗替代品的临床决策。目前的护理标准依赖于双向单平面正交测量,例如在神经肿瘤学标准中的响应评估中使用的那些。包括大型临床试验在内的主要研究工作依赖于几何学的这些总量度。的增强肿瘤及瘤周水肿的3D体积测量显然会有助于更好地分析在时间和计划治疗。手动3D分割方法繁琐，耗时且主观，并且由于这些原因尚未得到广泛使用。随着计算能力的提高和算法的改进，对半自动和自动化胶质瘤分割方法越来越感兴趣。
　　 大多数最初的深度学习分析方法都使用了补丁方法。研究人员后来转向语义分割，将整个图像划分为区域，并使用额外的卷积滤波器将不同区域的输出拼接在一起，例如提出的完全卷积网络。最初开发完全卷积网络以输入可变大小的自然图像。虽然MR图像在矩阵尺寸上可能有些均匀（尽管并非总是如此），但与贴片分类方法相比，这种方法对于其速度也是有利的。完全卷积网络由Chang实施]用于脑肿瘤分割，赢得2016年脑肿瘤分割挑战。除了完全卷积网络之外，许多研究人员还使用了语义分割，他们使用了由下采样和上采样层组成的网络，称为“U-Net”。成功应用了这种架构。还使用Jaccard损失函数来内在地处理类的不平衡。2017年，提出了DeepMedic，一种3D密集推理的贴片和多尺度CNN架构，它使用3D（3×3×3像素）卷积核和双路径学习，如前所述。以较低比例操作的路径避免了以全分辨率卷积大量，因此在从大空间范围处理信息时保持计算上的便宜。他们还使用了一个3D完全连接的条件随机场，这是一个概率框架，可用于根据与相邻体素的关系帮助推断单个体素的类别。
　　 最后，已经尝试了这些上述网络架构元素的组合，例如在2017年脑肿瘤分割竞赛的前三个条目中。结合了两个DeepMedics，三个完全卷积网络模型和一个U-Net，分开训练。该组合表现出优异的表现，在2017年脑肿瘤分割挑战中排名第一，Dice评分为0.76,0.82; 和0.90; 敏感度分别为79％，78％和91％; 增强型，核心型和整个肿瘤的特异性和特异性均大于99％。第二名获胜者提出了完全卷积网络的三级级联框架，以分层次序和顺序分割子区域（整个肿瘤，肿瘤核心和增强肿瘤核心）。每个步骤的分段被用作下一步的二进制掩码，允许更简单的网络为每个任务提供更容易的训练。最后，实现了具有骰子丢失功能的修改后的U-Net，以应对类不平衡，并使用广泛的数据增加来解决过度拟合问题，排名第三。详情可参见2017年脑肿瘤分割程序。
　　 那么脑瘤分割面临的挑战是什么？在许多方面,这些精心策划的数据集构成了脑肿瘤分割的关键和类似的挑战可能会或可能不会准确地反映临床成像实践。对已发表的作品进行研究并在不同相关人群中进行验证是很重要的。此外，图像预处理步骤，如配准，颅骨剥离，强度偏差校正和归一化，以及去噪，已知直接影响分割结果。较新的深度学习技术可以通过将图像预处理结合或堆叠到端到端算法设计中来提供帮助。开源软件框架（如Caffe，Tensorflow，PyTorch和Keras）的普遍可用性正在促进进步以及适当计算机硬件的改进和更高可用性。
　　 鉴于手工设计的特征可能无法完全表征肿瘤，并且基于成功训练脑肿瘤分割的深度学习架构，如前所述,最近的一些研究尝试使用可以改善的深度学习来评估更深层和更高阶的特征关于脑肿瘤的其他放射学模型的预测性能。深基于学习的radiomics模型脑肿瘤已经提出了用于生存预测和分子特征分类。利用MRI开发了基于CNN的放射学模型，以估计胶质母细胞瘤患者的总体生存率（75名患者的MRI扫描训练数据集和37名患者的独立验证MRI扫描组）。在从预先训练的CNN中选择六个深度特征后，建立的模型比依赖于明确设计的手工设计特征的传统模型更好地预测总体生存，C指数为0.71（表示逻辑回归模型的良好拟合） ，当与临床危险因素相结合时，增加到0.739。使用3D CNN评估多模式成像，以预测69例高级别胶质瘤患者的总生存率和报告的准确率高达90％。使用基于深度学习的放射组学从多模式MRI中提取特征，以预测151例低级别胶质瘤患者的IDH-1突变状态。他们显示IDH-1估计的AUC为0.95，而使用传统机器学习方法提取的特征为0.86。使用成像和患者年龄的组合来预测高达89％的准确度，以预测II-IV级胶质瘤中的IDH-1突变。他们使用了来自三个不同来源的496名患者的相对较大的队列，其中8：1：1分为训练，验证和测试组。已经开发出深度学习模型来分类胶质母细胞瘤MGMT甲基化状态，155名患者的报告准确率高达95％，159名患者的67％分为70％训练集，15％验证集和15％测试集。分类1p / 19q编码，IDH-1突变和MGMT来自The Cancer Imaging Archive的259名患者的甲基化状态（通过五倍交叉验证方法评估）与低级别或高级别胶质瘤相比，分别发现92％，94％和83％的准确度。虽然报道的准确性，C-索引和的AUC的一些研究是训练数据集的热捧，不少二手小的数字，用类的不平衡，以及使用没有单独的数据集验证数据集用于测试，可能限制普遍性。不同模型的客观比较将需要更大的数据集和使用对类不平衡不敏感的评估措施。
　　 为了真正从胶质瘤成像中的机器学习的力量中获益，需要更大量的注释良好的数据来实现跨数据集的良好概括。正在积极开展医学研究中的数据共享，以提高完整性并加快研究进度。最近通过广为接受的脑肿瘤分割基准和癌症基因组图谱以及癌症成像档案公共数据集，可以获得多学科的努力和多中心合作，这些研究为研究人员开发和客观评估其可重复研究方法提供了一种共同的媒介。
　　 选择最合适的机器学习模型和组件是一个不断发展的解决方案的问题。随着越来越多的机器学习技术被开发出来解决与脑肿瘤分割和放射组织相关的特定问题，结果几乎肯定会得到改善。纳入来自互补成像模式和临床数据的信息肯定会拓宽这些技术的相关性。此外，随着研究人员对机器学习理论的更好理解，选择最适合特定应用的机器学习架构将有助于推进。
　　 总之，研究人员所知的成像现在已经在胶质瘤患者的管理中起着关键作用; 然而，研究人员目前的做法受到诊断，结果预测以及重要的治疗反应评估所面临的困难的限制。虽然以前对原发性脑肿瘤几乎没有任何良好的治疗方法，但肿瘤分子分类的改进使靶向治疗和个性化医疗成为现实，准确评估治疗反应是一项迫切的临床需求。机器学习在胶质瘤成像中的应用正在两个主要领域取得进展：分割和放射组学，并取得了可喜的成果。这些技术具有令人兴奋的潜力，从根本上推动成像的使用,为脑肿瘤患者增加临床护理。这些技术有其自身的局限性,这一点很重要，但仍然存在重大挑战。