优艾设计网

模型优化难?百度智能云EasyDL模型评估全新升级助力精度快速提升?

近年来,深入学习持续发展,在视觉、自然语言处理、语音等各个技术方向上创新的智能应用,如智能识别医疗图像中的病灶,辅助医生诊断病情的优艾设计网_PS论坛智能识别生产线上存在质量问题的产品,减轻人工质量检查压力的政务、金融等流程中的证明书票据进行信息识识别,加快审查,识别流程电子化的用户输入的语言,匹配知识库中相应的问答,实现智能呼叫问答等随着智能应用的火爆发展,如何打造高精度的AI模式成为每个企业不断探索的命题。

在构建深度学习模型的过程中,遇到模型效果不能满足要求时,需要进一步定位问题和调整效果,深度学习模型又是黑盒,开发人员不知道错误预测的正确原因,因此很难采取目的效果优化战略。这个时候头疼得厉害。

事实上,当模型效果不佳时,不要惊慌。虽然模型是黑色盒子,但通过一些技术积累和功能设计,你可以从多个角度了解它是如何想的,并为模型优化提供思路和指导,尤其是如何优化数据。

在企业AI开发中,快速评估模型效果,定位模型问题,高效完成模型效果优化是AI应用落地的重要环节。针对这一诉求,百度桨企业版EasyDL零门槛AI开发平台在本来完善详细的模型评价报告书的基础上,进一步增加了混淆矩阵和CNN热力图功能,即使不太了解深度学习,也可以根据可视化评价结果制定更准确的优化方案。以下是模型指标、错误例子、混淆矩阵、CNN热力图等功能的逐一介绍。

EasyDL模型评价提供多个指标,从多角度展示模型效果信息

EasyDL基于开源深度学习平台,为企业AI应用开发人员提供零门槛AI开发平台EasyDL提供一站式智能标签、模式培训、服务部署等全流程功能,内置丰富的预培训模式,支持公有云、设备端、私人服务器、软硬一体化方案等灵活的部署方式。

目前,EasyDL已经通过百度智慧云服务超过80万企业用户,在工业制造、安全生产、零售快消、智慧硬件、文化教育、政府政务、交通物流、互联网等领域广泛落地。

在EasyDL完成模型开发后可以获得平台提供的各项详细的模型评估指标,以图像分类模型为例,除了整体的准确率之外,还可以看精确率、召回率、F1-score、TOP5准确率等。

除了整个模型的指标外,还可以看到各个类别的F1-score值,有助于开发者发现具体哪个类别的识别效果差。对于这些不好的类别,开发人员可以看到预测错误的样品,也就是常说的BadCase。开发人员可以检查这些类别的样品量是否过少,是否存在需要补充数据的脏数据,影响了模型的学习。

在物体检测上也是类似的,整体指标上可以观测mAP、最佳门槛下检测的准确率、回调率等。因为检测模型会输出很多的检测框,而有相当一部分检测框的概率比较低,一般会设置一个阈值来过滤掉那些低概率的检测框。通过设定不同的阈值,模型有不同的精度、召回率和F1-score。在模型预测时,通常取F1-score最高的阈值当做最佳阈值,这样能够较好地平衡精确率和召回率,尽量减少漏检、错检等问题。

与分类任务类似,在物体检测模型的评估中也可以查看各个类别的精度,来判断哪些类别的检测效果欠佳。找到这些问题比较大的类别之后,同样也可以查看BadCase。检测问题里的BadCase详细区分了误识别和漏识别这两种情况,从而方便开发者看检测出错的各类情况。开发者可以检查对应类别的标注框是否过少,是否有框标注错误需要修正。

新添加混淆矩阵和热力图两个功能,高效展示模型效果问题

除了上述经典常用的方法外,为了更有针对性地混淆类别,EasyDL最近在线了重磅矩阵功能。在混淆矩阵中,开发者可以方便地看到具体哪两种类别之间容易产生混淆,例如,类别A较多地被识别成了类别B。根据这些信息,开发人员可以发现训练数据是否有问题。例如,类似类别的图像有错误,或者类似类别的图像太少,模型学习不充分。开发商可以根据混淆矩阵提供的信息补充和调整模型数据。

看到这里,EasyDL在评价模型效果时,通常从数据的角度发现现现有模型的问题,通过优化数据来优化模型效果。你为什么选择这样的战略?在深度学习领域流行一句话,Garbagein,Garbageout。也就是说,如果开发者给深度学习模型标记质量差的垃圾数据,就会得到精度低的垃圾模型,这句话总是提醒开发者,数据质量与模型效果直接相关。因此,从数据的角度定位模型效果的问题,配合相应的数据调整,往往是最直接、最有效的。对于EasyDL的企业应用级开发者而言,从数据角度解决问题,不要求用户进行高深的算法研究,可以零代码快速提升模型精度。

除了上面这些方法外,还有一些更专业的透视模型手段,被业界称之为模型可解释性方法。桨在GitHub上开源了业界主流的说明方法。其中包括基于输入特征的方法(例如GradCAM、SmoothGrad、LIME等),包括基于GradCAM、ScoreCAM等中间特征的方法。大家可以点击链接查阅:https://github.com/PaddlePaddle/InterpretDL 。

在这些方法中,CNN网络有观察网络激活情况的技术,可以更深入地了解模型的行为。这也是EasyDL模型评价热力图功能的技术基础。

以CAM算法为例,在CNN网络最后的特征图中,哪个位置被激活是非常重要的信息,直接影响后续网络中分类器的判断。但是,这些特征图除了长宽两个维度之外,还有一个通道维度,开发商如何才能将不同通道的特征图叠加在一起呢?CAM提供加权方法,即根据最后全连接层的权重加权。如上图所示,如果开发人员想观察狗这个类别的活跃状况,则将所有连接层的各个通道加权到狗这个类别的权重W1、W2、wn,然后用这些权重加权到各通道的特征图中,获得两维活跃状态图。从这张状态图中,开发人员可以看到原图中狗狗出现的位置被激活,而其他地区(如人)则数值小,不起预测作用。通过这样的透视,开发商可以更深入地了解模型内部的运行情况,从而在一定程度上了解模型为什么会得到一定的预测结果。根据这些信息,开发商可以通过补充和优化数据来更好地引导模型学习,也可以通过调整模型结构来优化模型表现。

有些方法不仅适用于CNN的视觉模型,还适用于自然语言处理模型和传统机器学习模型。EasyDL也不断整合相关能力。例如,在NLP的情感分类任务中,我们想知道为什么文本模型对一一句话是正面或负面的评论。利用积分梯度(Integrated Gradients)的方法,在文本模型中把全零的嵌入向量作为基线,得到当前嵌入向量的积分梯度。从而反应不同输入词对预测结果的影响,可视化结果如下图:

使用EasyDL进行模型开发,在模型的评估中不仅可以参考各项详细指标来进行模型效果判断,还可以参考全新上线的混淆矩阵和热力图,以可视化、更精准的方式来定位模型效果不佳的原因,从而采取有针对性的效果提升策略。

近期,为帮助开发者从数据处理、模型训练、服务部署这三步来迅速掌握模型定制开发技能,百度EasyDL携手CSDN打造《AI开发精讲:高精度视觉模型定制与部署实战》系列课程,多位资深研发与产品经理深入探讨开发难点与解决方案,三节课重点全掌握!

点击链接立即报名:https://edu.csdn.net/huiyiCourse/detail/1550

0

上一篇:

下一篇:

精彩评论

暂无评论...
验证码 换一张
取 消

最新问答

问答排行榜