Среднеквадратичная ошибка

en: Mean squared error или «L2». Это «Функция ошибки». Самая популярная среди функций ошибки.

Записывается так:

Особенности:

• Берем разницу между эмпирическими и теоретическими значениями.
• Если просто просуммировать разницу, то положительные и отрицательные значения нивелируют друг друга и любая линия, проходящая через геометрический центр, будет давать нулевую ошибку
• Поэтому нужно убрать знак. Модуль не подходит, так как функция не везде дифференцируема: в одной точке у нее не существует производной, а чуть позже это понадобится.
• Выбираем квадрат, чтобы убрать знак. Дополнительный бонус: сильные отклонения становятся еще непропорционально большими. Таким образом, функция ошибки сильнее штрафует за сильные отклонения предсказанных данных от реальных.
• «1/m»: введено, чтобы уравнять наборы данных, разные по объему. Чтобы у больших наборов данных ошибка не была больше чисто из-за большего количества слагаемых.
• «1/2m» (пояснение «2»): значение уменьшено вдвое для удобства вычисления градиентного спуска