猜你喜欢

此技术由第四范式提供支持
换一组
拒绝无脑吹!从ACL2020看预训练缺陷

以 BERT 为代表作的预训练模型的研究热度一直很高,到 0202 年了,预训练的研究依旧层出不穷,而且 ACL 2020 Best Paper 荣誉提名也选择了这一主题的研究。 但是,只要我们不停止预训练,其表现就一定会提升吗?预训练模型可以完全支持 NLP 的所有下游任务吗?在 ACL 2020 已发表的论文中,我们整理并归纳出了目前学术界对预训练模型的不同看法。