11月22日，追一科技与粤港澳大湾区数字经济研究院(IDEA)宣布，双方将共同开展大型预训练模型的研发工作。基于双方在自然语言研究和认知智能领域的模型、算法、算力、科研、工程、应用积累优势，立足社会和企业智能化需求，共同推进创新技术研发和开源应用。
近几年，随着自然语言处理(NLP)技术的迅速发展，特别是2018年谷歌的Bert模型问世以来，预训练与迁移学习技术在NLP领域当中获得了广泛应用。预训练模型能够大幅度提升模型在下游各种NLP任务当中的表现，包括语义理解、文本生成等;与此同时，使用预训练模型还能够降低下游任务所需要的标注数据量，从而降低技术应用所需要投入的成本。
IDEA认知计算与自然语言研究中心讲席科学家张家兴博士表示，“IDEA倡导业界一起合作开放来做开源大模型，汇聚学界和产业界智慧，推进创新技术研发实践应用。追一科技是NLP领域的领军企业，有深厚的技术积累和研发实力，以及产业实践经验，双方的合作将是我们在NLP领域的第一个典范。“
追一科技联合创始人、CTO刘云峰博士表示，“大型预训练模型已成为NLP应用技术的主流范式，将会得到越来越多的应用。追一科技立足自身创新同时，也一直积极推动产学研协同，助力NLP创新发展。IDEA是一流的国际化创新型研究机构，汇集了国内外顶级的技术专家，极具技术前瞻，我们期待和IDEA一起，将前沿大模型的创新研究成果带给更多企业和应用开发者，让AI真正普惠社会。“
追一科技很早就关注和投入NLP预训练领域研究，积累了深厚的技术能力，陆续开源了一系列的预训练模型，如SimBERT、WoBERT、中文T5 PEGASUS、roformer等，并得到了NLP领域的广泛关注与使用。
结合追一的商业实践，预训练的多项技术成果已经率先在业内转化并落地应用。追一科技的在线机器人等多款智能化产品中，已经将我们用在开源预训练模型中的技术用到了为业务与产品线专门设计的ZOne预训练模型中，机器人的准确性、性能大幅提升，数据标注和运营成本也持续降低，为政府和企业的的营销、服务和运营的智能转型提供更强科技动力。
此次追一科技和IDEA的合作不只限于技术层面，也将攻坚产业应用关键难题，并向业内开源共享成果。 追一科技也将持续拥抱AI产学研开放合作，凝聚更多智慧力量，推进NLP发展，助力更多企业迈进智能化时代。
