Keras提供的指标使我们能够评估深度学习模型的性能。由于Keras提供了大量指标，因此为生产模型选择理想指标是一项复杂的工作。在某些情况下，您可能必须自定义指标（因为Keras根本无法提供所需的指标），这会影响模型的最终性能。
在本教程中，我们不会深入探讨每一个指标或何时使用它，我们将使用Keras构建几个简单的自定义指标，以进行二元分类。
请始终参考下面的混淆矩阵以了解其余内容。
首先，我们从导入必要的Python库开始。
import keras.backend as K精度（Precision）
def precision(y_true, y_pred):
true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1)))
return true_positives / (predicted_positives + K.epsilon())我们需要记住，y_true和y_pred的操作不是NumPy数组，而是Theano或Tensorflow张量。这就是为什么我们将Keras后端提供的操作用于指标的原因。
召回率（Recall）或灵敏度（Sensitivity）
def recall(y_true, y_pred):
true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
possible_positives = K.sum(K.round(K.clip(y_true, 0, 1)))
return true_positives / (possible_positives + K.epsilon())特异性（Specificity）
def specificity(y_true, y_pred):
true_negatives = K.sum(K.round(K.clip((1 - y_true) * (1 - y_pred), 0, 1)))
possible_negatives = K.sum(K.round(K.clip(1 - y_true, 0, 1)))
return true_negatives / (possible_negatives + K.epsilon())
F beta分数
def f_beta_m(y_true, y_pred):
beta = 1
precision = precision_m(y_true, y_pred)
recall = recall_m(y_true, y_pred)
numer = (1 + beta ** 2) * (precision * recall)
denom = ((beta ** 2) * precision) + recall + K.epsilon()
return numer / denom在F-beta分数中选择beta时，您越想关注召回率而不是精度，应该选择更高的beta。例如，对于F1分数，我们同样关心recall和precision，对于F2分数，recall对我们来说是两倍重要。
在0 <beta <1的情况下，我们更关注精度，因此阈值越高，F beta得分越高。当beta> 1时，我们的最佳阈值朝着更低的阈值移动，当beta = 1时，它处于中间位置。
特异性（Specificity）/灵敏度（Sensitivity）
它是特异性和灵敏度的平均值，我们将其称为average_metric。请注意，灵敏度与前面定义的recall是同一个函数。
def average_metric(y_true, y_pred):
spec = specificity(y_true, y_pred)
sens = sensitivity(y_true, y_pred)
return 0.5 * (spec + sens)另外，为了确保我的模型不会在某个类上过度拟合，我倾向于在average_metric中添加一个条件操作，我们将调用新指标conditional_average_metric。这背后的直觉是监测灵敏度和特异性的值，如果它们中的任何一个下降到某个水平以下，那么我们将大幅降低所述度量的最终值。
之所以这样做，是因为在训练模型时，Keras并没有在每个epoch之后保存每个模型，而是为我们提供了监视度量的选项，并根据监视的数量保存最新的最佳模型。
def conditional_average_metric(y_true, y_pred):
spec = specificity(y_true, y_pred)
sens = sensitivity(y_true, y_pred)
minimum = K.minimum(spec, sens)
condition = K.less(minimum, 0.5)
multiplier = 0.001
# This is the constant used to substantially lower
# the final value of the metric and it can be set to any value
# but it is recommended to be much lower than 0.5
result_greater = 0.5 * (spec + sens)
result_lower = multiplier * (spec + sens)
result = K.switch(condition, result_lower, result_greater)
return result使用首选指标定义机器学习模型
首先，建立模型并选择您想要监视的首选指标。我们将在这个例子中继续有三个指标，即conditional_average_metric，specificity，sensitivity。
model = Sequential()
.....
model.add(Dense(1))
model.add(Activation('sigmoid'))
model.compile(optimizer, loss='binary_crossentropy', metrics=[conditional_average_metric, specificity, sensitivity])训练机器学习模型并保存最佳模型
尽管我们在训练过程中使用了三个指标，但我们应该仅选择其中一个指标，即conditional_average_metric，来保存基于它的模型。训练模型时，基于监视指标的最佳性能模型将自动保存到指定路径。
monitor = 'val_conditional_average_metric'
checkpoint = ModelCheckpoint(model_path, monitor=monitor, verbose=1, save_best_only=True, mode='max')
callbacks_list = [checkpoint]
history = model.fit(trainX, trainY, epochs=epochs, batch_size=batch_size, validation_data=(testX, testY),callbacks=callbacks_list)加载预训练机器学习模型
完成训练过程后，我们可以按如下所示再次加载机器学习模型。
model = load_model(model_path, custom_objects={'conditional_average_metric': conditional_average_metric, 'specificity': specificity, 'sensitivity': sensitivity})