Quelle est la différence entre «transfert d'apprentissage» et «adaptation de domaine»?

19

Y a-t-il une différence entre «transfert d'apprentissage» et «adaptation de domaine»?

Je ne connais pas le contexte, mais je crois comprendre que nous avons un ensemble de données 1 et que nous nous y entraînons, après quoi nous avons un autre ensemble de données 2 pour lequel nous voulons adapter notre modèle sans se recycler à partir de zéro, pour lequel `` transférer l'apprentissage '' et 'l'adaptation du domaine' aide à résoudre ce problème.

Selon le domaine des réseaux de neurones convolutifs:

Par «transfert d'apprentissage», je veux dire «réglage fin» [1]
Dans ce cas [2], il n'est pas supervisé, mais «l'adaptation du domaine» doit-elle toujours être non supervisée?

— mrgloom
source

3

Une enquête sur l'apprentissage par transfert de Pan et. al, 2009 donne un aperçu. Ils catégorisent l'adaptation du domaine comme un type d'apprentissage par transfert.

— kedarps

13

Il semble qu'il y ait un certain désaccord entre les chercheurs sur la différence entre «l'apprentissage par transfert» et «l'adaptation du domaine».

À partir de {0}:

La notion d'adaptation de domaine est étroitement liée à l'apprentissage par transfert. L'apprentissage par transfert est un terme général qui fait référence à une classe de problèmes d'apprentissage automatique qui impliquent différentes tâches ou domaines. Dans la littérature, il n'y a pas encore de définition standard de l'apprentissage par transfert. Dans certains articles, il est interchangeable avec l'adaptation de domaine.

À partir de 1}:

Les références:

{0} Li, Qi. "Étude de la littérature: algorithmes d'adaptation de domaine pour le traitement du langage naturel." Département d'informatique The Graduate Center, The City University of New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( miroir )
{1} Pan, Sinno Jialin et Qiang Yang. "Une enquête sur l'apprentissage par transfert." Transactions IEEE sur l'ingénierie des connaissances et des données 22, no. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( miroir ) (2,6k citations)

— Franck Dernoncourt
source

10

Extrait de l'article de Hal Daume [1]:

Le paramètre de classification standard est une distribution d'entrée p (X) et une distribution d'étiquette p (Y | X). Adaptation du domaine: lorsque p (X) change entre la formation et le test. Transfert d'apprentissage: lorsque p (Y | X) change entre la formation et le test.

En d'autres termes, dans DA, la distribution d'entrée change mais les étiquettes restent les mêmes; en TL, les distributions d'entrée restent les mêmes, mais les étiquettes changent.

https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( miroir )

— Rahul Jha
source

Bienvenue sur Cross Validated ! Veuillez prendre un moment pour voir notre visite . Il est préférable que les réponses soient autonomes avec des citations appropriées. Si vous deviez utiliser les informations de votre lien pour fournir une réponse raisonnable à la question avec le lien pour une lecture plus approfondie, ce serait une réponse bien meilleure.

— Tavrock

1

p (Y | X)

$p(Y|X)$

p (X)

$p(X)$

Je suis d'accord avec @caveman. Pour de nombreux scénarios d'apprentissage par transfert, c'est le cas.

— pir

2

Dans toute la littérature sur l'apprentissage par transfert, il existe un certain nombre d'incohérences terminologiques. Des expressions telles que l'apprentissage par transfert et l'adaptation de domaine sont utilisées pour faire référence à des processus similaires. L'adaptation de domaine est le processus d'adaptation d'un ou plusieurs domaines source pour les moyens de transfert d'informations afin d'améliorer les performances d'un apprenant cible. Le processus d'adaptation de domaine tente de modifier un domaine source afin de rapprocher la distribution de la source de celle de la cible. Dans le paramètre Adaptation de domaine, les domaines source et cible ont des distributions marginales p (X) différentes. Selon l'enquête de Pan, Transfer Learning est un terme plus large qui peut également inclure le cas où il existe une différence dans les distributions conditionnelles p (Y | X) des domaines source et cible. En revanche,

https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

— Christos Karatsalos
source

Serait-il possible d'ajouter une citation pour "Pan's survey"? Je pense que cela rendrait cette réponse plus utile aux futurs lecteurs.

— Silverfish

Pan, Sinno Jialin et Qiang Yang. "Une enquête sur l'apprentissage par transfert." Transactions IEEE sur l'ingénierie des connaissances et des données 22, no. 10 (2010): 1345-1359. scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/…

— Christos Karatsalos

2

Je pense que "Transfer Learning" est un terme plus général, et "Domain Adaptation" est un scénario de "Transfer Learning".

[1] Attention transférable pour l'adaptation de domaine. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

— Espérer
source

0

Selon [1], l'adaptation de domaine est l'apprentissage par transfert en PNL: «L'apprentissage par transfert dans le domaine PNL est parfois appelé adaptation de domaine».

[1] Pan, SJ et Q. Yang. «A Survey on Transfer Learning». Transactions IEEE sur la connaissance et l'ingénierie des données 22, no. 10 (octobre 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 ou https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf

— Duc
source