• Facebook 开源NLP建模框架- PyText
  • 发布于 2个月前
  • 184 热度
    0 评论
  • 王建栗
  • 0 粉丝 18 篇博客
  •   

Facebook公司希望帮助开发人员更轻松地构建和部署基于AI的自然语言处理(NLP)系统。

为此,今天它开源了一种名为PyText的新NLP建模框架,声称该框架有助于弥补试验这种系统与在生产环境下安装并运行起来之间的差距。


Facebook的开发团队在一篇博文中表示,PyText之所以很有用,是由于构建NLP系统所必需的神经网络历来一直让人很头痛,那是由于要在针对实验环境优化的框架与针对生产环境优化的框架之间作一番权衡和取舍。


构建NLP系统通常需要对几十个AI模型进行全面广泛的训练和测试。这番训练和测试主要在“面向研究的框架”上开展,Facebook表示这类框架很出色,因为它们提供了简单的接口,可加快构建这些模型的速度。


但是研究型框架并不是很适合在生产环境中运行NLP系统,因为这种系统使用的模型饱受延迟变长和内存使用增加之苦。Facebook表示,现有的生产级框架可以解决这些问题,但它们显然难以创建文本序列的动态表示,对于任何可靠的NLP系统来说这又是必不可少的一环。


这就是为什么Facebook决定创建并开源PyText,这是一种基于其开源PyTorch深度学习框架而建的软件库。

Facebook表示,PyText旨在满足NLP建模的特定要求,为此它提供了一套简化的工作流程以便更快地实验。它还让开发人员可以访问众多预构建的模型架构,以及用于文本处理和词汇管理的工具。最后,它还允许访问更广泛的PyTorch生态系统,该生态系统拥有自己的面向NLP系统的工具和模型。


该公司表示,有了PyText,就可以试验NLP系统并将它们部署到生产环境中,以执行诸如文档分类、多任务建模、语义分析和序列标记之类的任务。


Facebook的工程团队写道:“我们Facebook使用该框架,在短短几天内(而不是几周乃至几个月)让NLP模型由构思阶段进入到完全实现的阶段,并部署了依赖多任务学习的复杂模型。”


Constellation研究公司的分析师霍尔格•米勒(Holger Mueller)表示,很高兴看到这种类型的框架方面出现更激烈的竞争,因为自然语言处理对于下一代软件应用而言至关重要。


米勒说:“只有借助切实可用的NLP模型,作为新型用户界面(UI)的语音才有成功的机会,而框架之间的竞争至关重要,有助于促进功能的进步,并为企业高层们在如何为下一代应用构建AI模型方面提供选择。与所有新产品一样,小心谨慎和大胆验证是头几个月的重要建议,但开源这个框架会吸引更多的人关注了解代码,进而有助于对该框架树立起更大的信心。”

Facebook已经在内部使用PyText,改进它自己的一些产品的NLP功能,包括Messenger和新型Portal视频呼叫设备中的M建议功能。


该团队写道:“由于Portal、Messenger和另外许多使用场合,我们需要实时运行模型以便快速响应。我们还需要能够大规模高效运行的NLP系统。PyText让Facebook工程师们更容易将高级的实时NLP部署到讲众多不同语言的数十亿人使用的系统中。”


用户评论