谷歌推出 TensorFlow Serving,希望降低将机器学习模型投入生产的难度

下一篇文章

Instagram、Snapchat 和 Twitter 的人工编辑内容大比拼

谷歌在今天 推出了 TensorFlowServing,这是一个旨在帮助开发者将机器学习模型投入实际生产的开源项目。顾名思义,TensorFlowServing 是专门针对谷歌自家的 TensorFlow 机器学习库进行优化的,不过谷歌表示它还可以进一步支持其他的模型和数据。

TensorFlow 这样的项目可以简化机器学习算法的开发流程,也可以训练这些算法适应特定类型的数据输入,不过 TensorFlow Serving 是专门用于将这些模型投入到生产环境的。开发者可以使用 TensorFlow 训练他们的模型,然后使用 TensorFlow Serving 的 API 来处理来自来自客户端的数据输入。谷歌还表示 TensorFlow Serving 可以利用机器现有的 GPU 资源来提升处理速度。

tensor_flow_diagram1_trainingpipeline_final

按照谷歌的说法,采用这种系统不仅意味着开发者可以更快地将机器学习模型投入生产,而且他们还可以测试不同的算法和模型,同时保持整体架构和 API 的稳定。此外,开发者在完善模型的过程中,或者新的输入数据导致模型的输出改变时,机器学习架构的其他部分都会保持稳定。

谷歌提到 TensorFlow Serving 是用 C++编写的(不是谷歌自家的 Go 语言)。该软件已经针对性能进行了优化,它可以在搭载 16 核 Xeon 处理器的计算机上处理每秒 10 万次的查询。

TensorFlow Serving 的代码和部分相关教程已经可以在 GitHub 上获取,按照 Apache 2.0 协议授权。

翻译:关嘉伟(@consideRay

Google Makes It Easier To Take Machine Learning Models Into Production

blog comments powered by Disqus