Tensorflow Serving是将机器学习模型引入生产的最明显和最好的解决方案。带来的好处包括:
- 一个预先构建的rest api，速度非常快，由谷歌支持
- 不同模型和模型版本的源代码控制和访问
- 在所有平台上服务模型的标准化方法。
但是，因为它是新的，所以缺少了很多东西，比如文档和对其他流行库(如keras)的文档支持。Keras与服务于Tensorflow完全兼容，唯一的挑战是保存模型，使服务于Tensorflow的方式能够使用它。
因此，为了简单起见，我选择使用keras来训练一个简单的模型，并将其导出为适合于Tensorflow服务的格式。
XOR预测例子
1、下载代码
首先克隆Repo以获取代码
git clone https://github.com/brianalois/xor_keras_tensorflow_serving.git
确保您的环境是在github页面上要求的环境，readme有说明。
2、代码
导入你的依赖关系! !
import tensorflow as tf
from keras import backend as K
from tensorflow.python.saved_model import builder as saved_model_builder
from tensorflow.python.saved_model import tag_constants, signature_constants, signature_def_utils_impl
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.optimizers import SGD
import numpy as np
设置Tensorflow会话
sess = tf.Session()
K.set_session(sess)
K.set_learning_phase(0)
设置变量
模型版本:将更改导出的模型目录的名称
epoch:训练周期数越多，时间越长。5000是个不错的数字，但可能需要一些时间来训练。100适合快速测试。
model_version = "2"
epoch = 100
加载数据
这就是我选择XOR示例的原因，因为数据非常容易获取
X = np.array([
[0,0],
[0,1],
[1,0],
[1,1]
])
Y = np.array([[0],[1],[1],[0]])
建立模型
model = Sequential()
model.add(Dense(8, input_dim=2))
model.add(Activation('tanh'))
model.add(Dense(1))
model.add(Activation('sigmoid'))
sgd = SGD(lr=0.1)
编译和拟合模型
model.compile(loss='binary_crossentropy', optimizer=sgd)
model.fit(X, Y, batch_size=1, nb_epoch=epoch)
获取 Tensorflow Serving输入和输出变量
x = model.input
y = model.output
prediction_signature = tf.saved_model.signature_def_utils.predict_signature_def({"inputs": x}, {"prediction":y})
测试tf serving 的预测签名是否有效
valid_prediction_signature = tf.saved_model.signature_def_utils.is_valid_signature(prediction_signature)
if(valid_prediction_signature == False):
raise ValueError("Error: Prediction signature not valid!")
构建和配置模型
builder = saved_model_builder.SavedModelBuilder('./'+model_version)
legacy_init_op = tf.group(tf.tables_initializer(), name='legacy_init_op')
builder.add_meta_graph_and_variables(
sess, [tag_constants.SERVING],
signature_def_map={
signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY:prediction_signature,
},
legacy_init_op=legacy_init_op)
保存模型
builder.save（）
这里非常简单，现在应该可以看到目录中有一个文件夹，它的名称是2。
注意:
对于那些熟悉Tensorflow服务的人，有预测、分类和回归操作。对于每个模型，都需要以特定的方式保存模型。预测是最容易理解的，这也是我开始它的原因。但是，分类和回归很难找到如何使用keras的方法。