迁移学习

迁移学习是机器学习的一个重要分支，其主要目的是将已经学习过的知识迁移应用于新的问题中。

在这篇文章中，作者通过4篇论文详细介绍了联邦学习中的联邦迁移学习问题，并探讨了向经典联邦学习中引入迁移学习的目的和意义。

在这篇文章中我们重点关注了联邦学习中的联邦迁移学习问题。

分享主题：PAI-EasyTransfer面向NLP场景的深度迁移学习框架

在这篇论文中，来自阿里巴巴的研究者开发了一个新的深度迁移学习框架EasyTransfer，并向开源社区开放。

分享概要：本次直播将介绍深度迁移学习框架PAI-EasyTransfer，这是个面向自然语言处理场景的深度迁移学习框架。

基于所提出的迁移学习方法，B向A发送消息的通信代价可以计算为：

此外介绍两篇FTL相关的方法，其中一篇关注联邦域适应（DomainAdaption）的问题，属于直推迁移学习方法在联邦学习框架中的应用，另外一篇为微软研究院的工作，重点关注FTL中的梯度聚合方法。

本文关注联邦迁移学习方法，在介绍联邦学习和迁移学习相关知识的基础上，重点探讨向经典联邦学习中引入迁移学习的目的和意义。

此外，本文还将梳理目前主流的联邦迁移学习方法，并重点介绍其中的4篇文章。

不同迁移学习方法。

杨强教授在文章中还对不同迁移学习方法进行了类别划分，见图2。

FTL利用迁移学习技术利用不同来源、不同特征的数据进行联合训练，同时实现数据隐私保护而不会造成严重的精度损失。

可以看出，经典机器学习技术试图从零开始学习每一个任务，而迁移学习技术则是在目标任务的高质量训练数据较少的情况下，将前一个任务的知识转移到目标任务上。

图1示出了经典机器学习技术和迁移学习技术的学习过程之间的区别。

该框架致力于让自然语言处理场景的模型预训练和迁移学习开发与部署更加简单和高效。

迁移学习允许在机器学习模型的训练和测试中所使用的域（domains）、任务（tasks）和分布（distributions）是不同的。

迁移学习是机器学习的一个重要分支，其主要目的是将已经学习过的知识迁移应用于新的问题中。