Сигмо́ида — это гладкая монотонная нелинейная S-образная функция, которая часто применяется для «сглаживания» значений некоторой величины. Возрастающая функция.

Часто под сигмоидой понимают логистическую функцию

Семейство функций класса сигмоид

В семейство функций класса сигмоид также входят такие функции как арктангенс, гиперболический тангенс и другие функции подобного вида.

Функция Ферми (экспоненциальная сигмоида):

Рациональная сигмоида:

Гиперболический тангенс:

Применение

Нейронные сети

Сигмоида применяется в нейронных сетях для того, чтобы ввести некоторую нелинейность в работу сети, но при этом не слишком сильно изменить результат её работы.

Одна из причин, по которой сигмоида используется в нейронных сетях, это простое выражение её производной через саму функцию (которое и позволило существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике):

 — для гиперболического тангенса

 — для логистической функции

Не менее важной причиной введения нелинейности является математически доказанная возможность получить сколь угодно точное приближение любой непрерывной функции многих переменных, используя операции сложения и умножения на число, суперпозицию функций, линейные функции а также одну произвольную непрерывную нелинейную функцию одной переменной (Обобщенная аппроксимационная теорема — источник недоступен (23.11.09), возможная альтернатива — Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей)

Логистическая регрессия

Логистическая функция используется в логистической регрессии следующим образом. В ней решается задача классификации с двумя классами ( и , где  — переменная, указывающая класс объекта), и делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта (действительные числа):

где  — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.

Выбор именно этой функции можно обосновать, рассматривая логистическую регрессию, как обобщённую линейную модель в предположении, что зависимая переменная распределена по закону Бернулли.

См. также

• Искусственная нейронная сеть
• Перцептрон

Ссылки

• Сравнение быстроты нескольких программных реализаций гиперболического тангенса