WeLM是微信AI团队开发的一个中文预训练语言模型,能够在零样本和少样本情境下完成多种NLP任务。
WeLM的功能和特点:
WeLM拥有处理跨多语言(中英日)任务的能力,并且具有mutilingual的能力。
WeLM具有记忆能力、自我纠正和检查能力,能够学习少量的文本转换例子即可达到对任意类型的文本转换。
在14项中文NLP任务上,WeLM的整体表现超出了所有同大小的模型,甚至能够匹配比它大25倍的模型。
WeLM使用62k的SentencePiece tokenizer进行词表处理,再加上3万个中文符号和中文中常见的英语、日语、韩语等语言的常用词也被包括在内。
相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》已经发布于论文预印本网站arXiv(https://arxiv.org/abs/2209.10372)
关于 微信WeLM 特别声明
微信WeLM来源于网络,由网友提供,本站不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由 站联实际控制,网页的内容如出现违规,可以直接联系网站管理员进行删除, 站联不承担任何责任。