百度大脑EasyDL专业版上线百度超大规模预训练模型

在深度学习领域，有一个名词正在被越来越频繁地得到关注：迁移学习。它相比效果表现好的监督学习来说，可以减去大量的枯燥标注过程，简单来说就是在大数据集训练的预训练模型上进行小数据集的迁移，以获得对新数据较好的识别效果，因其能够大量节约新模型开发的成本，在实际应用中被更广泛地关注。EasyDL专业版在最新上线的版本中，就引入了百度超大规模视觉预训练模型，结合迁移学习工具，帮助开发者使用少量数据，快速定制高精度AI模型。

在训练一个深度学习模型时，通常需要大量的数据，但数据的采集、标注等数据准备过程会耗费大量的人力、金钱和时间成本。为解决此问题，我们可以使用预训练模型。以预训练模型A作为起点，在此基础上进行重新调优，利用预训练模型及它学习的知识来提高其执行另一项任务B的能力，简单来说就是在大数据集训练的预训练模型上进行小数据集的迁移，以获得对新数据较好的识别效果，这就是迁移学习（Transfer Learning）。迁移学习作为一种机器学习方法，广泛应用于各类深度学习任务中。在具体实现迁移学习时，有多种深度网络迁移方法，其中的Fine-tune（微调）是最简单的一种深度网络迁移方法，它主要是将已训练好的模型参数迁移到新的模型来帮助新模型训练。

针对一个具体的模型开发任务，我们通常会选择在公开的大数据集上训练收敛、且效果较好的模型，作为预训练权重，在此基础上使用业务数据对模型进行Fine-tune。在Fine-tune时，默认源域（预训练模型）、目标域数据集（用户业务数据集）需要具有较强相关性，即数据同分布，这样我们才能利用预训练模型的大量知识储备，快速高效地训练出针对特定业务场景并具有优秀效果的模型。

但在实际应用场景中，很多用户会面临数据集与源数据集分布不同的问题。比如，预训练模型的数据都是自然风景，但用户的数据集都是动漫人物。类似这种源数据集和目标数据差别较大的问题，在具体应用中较易导致负向迁移，具体表现为训练收敛慢，模型效果差等。

因此，一个包含各类场景、覆盖用户各类需求的超大规模数据集就十分重要，通过这个包罗万象的超大规模数据集训练所得的模型，才能够更好地适应来自各行各业用户的需求，更好地Fine-tune用户的业务数据集，帮助用户在自己的数据集上得到效果更好的模型。

百度自研超大规模视觉预训练模型覆盖图像分类与物体检测两个方向，相对于普通使用公开数据集训练的预训练模型，在各类数据集上都有不同程度效果提升，模型效果和泛化性都有显著提升。

视觉方向，百度自研超大规模视觉预训练模型覆盖图像分类与物体检测两个方向。图像分类的预训练模型，用海量互联网数据，包括10万+的物体类别，6500万的超大规模图像数量，进行大规模训练所得，适应于各类图像分类场景；物体检测的预训练模型，用800+的类别，170万张图片以及1000万+物体框的数据集，进行大规模训练所得，适应于各类物体检测应用场景。相对于普通使用公开数据集训练的预训练模型，在各类数据集上都有不同程度效果提升，模型效果和泛化性都有显著提升。

（以下实验数据集均来自不同行业）

图像分类

在图像分类模型中，使用百度超大规模预训练模型的Resnet50_vd相比普通模型在各类数据集上模型效果平均提升12.76%，使用百度超大规模预训练模型的Resnet101_vd，相比于普通预训练模型，平均提升13.03%,使用百度超大规模预训练模型的MobilenetV3_large_1x，相比于普通预训练模型，平均提升8.04%。

并且，在图像分类方向，还新增了11个模型，包括：

EffcientNetB0_small

EfficientNetB4

MobileNetV3_large_x1_0

ResNet18_vd

ResNeXt101_32x16d_wsl

Res2Net101_vd_26w_4s

SE_ResNet18_vd

Xception71

还有基于百度超大规模预训练模型训练出来的ResNet50_vd，ResNet101_vd和MobileNetV3_large_x1_0，其中比较特殊的几个模型，EffcientNetB0_small是去掉SE模块的EffcientNetB0，在保证精度变化不大的同时，大幅提升训练和推理速度，ResNeXt101_32x16d_wsl 是基于超大量图片的弱监督预训练模型，准确率高，但预测时间相对增加，Res2Net101_vd_26w_4s则是在单个残差块内进一步构造了分层的残差类连接，比ResNet101准确度更高；

新增的分类模型的推理时间、效果，以及支持的部署方式如下表所示：

注：以上模型均基于ImageNet1k分类数据集训练和测试

更多预置模型，参见EasyDL官网：

https://ai.baidu.com/ai-doc/EASYDL/0k38n3p16

更多模型效果，参见PaddleClas：

https://paddleclas.readthedocs.io/zh_CN/latest/models/models_intro.html

并且，为了进一步提升图像分类模型的模型效果，在训练层面，图像分类新增了mix_up和label_smoothing功能，可以在单标签分类任务中，根据模型的训练情况选择开启或者关闭。mix_up是一种数据增强方式，它从训练样本中随机抽取了两个样本进行简单的随机加权求和，并保存这个权重，同时样本的标签也对应地用相同的权重加权求和，然后预测结果与加权求和之后的标签求损失，通过混合不同样本的特征，能够减少模型对错误标签的记忆力，增强模型的泛化能力。Label_smoothing是一种正则化的方法，增加了类间的距离，减少了类内的距离，避免模型对预测结果过于confident而导致对真实情况的预测偏移，一定程度上缓解由于label不够soft导致过拟合的问题。

物体检测

在物体检测模型中，使用百度超大规模预训练模型的YOLOv3_DarkNet相比普通模型在各类数据集上模型效果平均提升4.53 %，使用百度超大规模预训练模型的Faster_RCNN，相比于普通预训练模型，平均提升1.39%。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!