Некоторые банки решают проблему того, что модели машинного обучения не поддаются объяснению, используя два параллельных подхода — один сложный, с высокой точностью, чтобы действительно выявлять мошенничество, а другой более простой, менее точный, но понятный для объяснения. Параллельный запуск нужен лишь для того, чтобы создать объяснение. Когда сложная модель отказывает в транзакции, система спрашивает у простой модели, согласна ли она — и если да, использует эту причину, чтобы объяснить клиенту.
Суть в том, что не нужно жертвовать точностью ради возможности объяснять: роли разделяются — принятие решения и объяснение.
Если @NewtonProtocol применит этот подход к Policy Engine, то он сможет одновременно максимально повышать выявление мошенничества и давать пользователю понятное объяснение.
Самооспаривание: но этот подход работает эффективно только тогда, когда две модели в большинстве случаев согласны. Более сложный случай — когда они расходятся: сложная модель отказывает, а простая говорит, что «всё нормально». Тогда системе приходится либо выбирать причину, которая не отражает истинное решение, либо признать, что объяснить нельзя — иронично, но как раз разногласия чаще всего возникают в самых сложных ситуациях.
Реальная сложность Ньютона не в том, чтобы строить параллельную объясняющую модель, а в том, как прозрачно обрабатывать случаи разногласия — возможно, стоит публиковать долю решений, попадающих в категорию «объяснение недостаточно полное».
$NEWT следует оценивать не только по тому, построен ли механизм параллельных объяснений в теории, а по тому, честно ли проект публично раскрывает долю таких случаев.
#newt $TAC $BTC