Почему вес функции в модели машинного обучения не имеет смысла

  Перевод   Ссылка на автора

Как я вижу, наши клиенты влюбляются в BigQuery ML Возникает старая проблема - я обнаружил, что они не могут устоять перед искушением присвоить значение весам элементов.

«Наибольшее значение в моей модели для прогнозирования ценности жизни клиента, - отмечают они, - в том, получил ли заказчик благодарственное письмо от руководителя». Или они могут посмотреть на отрицательный вес и сделать ужасный вывод: «Магазины расположенные в городских районах приводят к отрицательным оценкам удовлетворенности ».

Пожалуйста, не делай этого. Не заставляйте своих руководителей звонить каждому клиенту! Не закрывайте все свои городские локации!

Не принимайте решения на основе веса вашей модели машинного обучения. Почему бы нет?

Категориальные веса - это свободные параметры

Давайте возьмем простой пример. Допустим, вы хотите создать модель, чтобы предсказать вес монеты. В вашей модели машинного обучения будет три входа: диаметр монеты, толщина монеты и материал, из которого изготовлена ​​монета.

Возможно, после обучения модели на вашем большом наборе данных монет, вы получите эту модель:

Отрицательные термины для материала ничего не значат. Например, мы можем переместить часть веса в термин «смещение» и создать эквивалентную модель:

Другими словами, категориальные переменные предоставляют много возможностей для того, как модель может присваивать свои веса. Это буквально случайно.

Зависимые переменные также предоставляют свободные параметры

Предположим, получается, что в вашем наборе данных реального мира более крупные монеты также толще. Тогда ваша модель может быть также:

Итак, теперь вес элемента диаметра отрицателен, потому что он по существу сводит на нет дополнительный положительный вес, заданный для толщины.

Очевидно, что более крупные монеты будут весить больше, но, поскольку они также толще в реальном мире, из которого был собран наш набор данных, вес отдельных элементов не будет отражать это.

Просто не делай этого

Суть в том, что вы не можете делать выводы из величины весов или знака весов. Как люди, мы хотим объяснимости, но в реальных наборах данных это может быть довольно сложно.

Методы как переставляя входы, ЛАЙМ а также Интегрированные градиенты помочь, но если у вас нет четкого представления о межфункциональных зависимостях, опасно принимать дорогостоящие решения даже на основе этих более сложных методов. Важность функции - это важность в рамках конкретной модели, и зачастую она не соответствует значению в реальной жизни.

На самом деле, просто не

Подходят модели для прогнозирования ценности жизни или удовлетворенности клиентов - вы можете использовать эти модели, чтобы определить, каких клиентов следует поддерживать, а какие - исследовать. Это потому, что модель была обучена на большом наборе данных, чтобы точно предсказать это.

Однако веса, связанные с отдельными характеристиками, не могут быть интерпретированы. Величины входных характеристик («звонки руководителей по продажам имеют огромный вес») или признак функции («городские магазины приводят к неудовлетворительному удовлетворению») не должны использоваться для получения выводов. Вы не должны использовать модель, которая прогнозирует пожизненную ценность, чтобы требовать от каждого клиента получения персональной заметки от руководителя.