Вопрос:

R h2o - матрица путаницы при перекрестной проверке порога mcc

r h2o confusion-matrix

111 просмотра

1 ответ

279 Репутация автора

После обучения моей модели XGBoost, используя 5-кратную перекрестную проверку, я хотел бы получить представление о производительности модели на новых данных. Насколько я понимаю, производительность модели при каждой перекрестной проверке запускается в приемлемой мере этой производительности.

Используя h2o.performance (best_XGBoost, xval = T), я могу получить путаницу матрицы перекрестной проверки. Тем не менее, порог был выбран на основе F1, и я хотел бы видеть производительность, используя absolute_mcc, чтобы выбрать порог.

Есть ли способ сделать это?

Автор: Diogo Santos Источник Размещён: 03.01.2019 10:24

Ответы (1)


1 плюс

458 Репутация автора

Решение

1. Производительность по новым данным:

     h2o.confusionMatrix(object = yourXGBmodelHere, 
                        newdata = yourTestSetHere, 
                        metrics = "absolute_mcc")

2. Оценка эффективности резюме:

fold_ass <- h2o.cross_validation_fold_assignment(model)
cvTrain <- h2o.cbind(data.train, fold_ass)

Пример: как модель 1 выполняет в первый раз:

h2o.confusionMatrix(object=h2o.cross_validation_models(model)[[1]], 
                    newdata=cvTrain[fold_ass == 0, ], 
                    metrics = "absolute_mcc")

NB - предполагается, что модель была обучена с: keep_cross_validation_fold_assignment = TRUE и keep_cross_validation_predictions = TRUE. Так что вы можете использовать:

h2o.cross_validation_fold_assignment(model)
h2o.cross_validation_predictions(model)

h2o.cross_validation_models(model)
Автор: Pasqui Размещён: 03.01.2019 10:52
Вопросы из категории :
32x32