Содержание[Скрывать][Показывать]
Мир быстро меняется благодаря искусственному интеллекту и машинному обучению, которые влияют на все аспекты нашей повседневной жизни.
От голосовых помощников, которые используют NLP и машинное обучение для записи на прием, поиска событий в нашем календаре и воспроизведения музыки, до устройств, которые настолько точны, что могут предвидеть наши потребности еще до того, как мы их учтем.
Компьютеры могут играть в шахматы, делать операции и превращаться в более умные, более похожие на человека машины с помощью алгоритмов машинного обучения.
Мы живем во времена непрерывного технического прогресса, и, видя, как компьютеры развивались с течением времени, мы можем делать прогнозы о том, что произойдет в будущем.
Демократизация вычислительных инструментов и методов является одним из ключевых аспектов этой революции, которая выделяется. Ученые данных за последние пять лет создали мощные компьютеры для обработки данных, без особых усилий внедрив передовые методологии. Результаты поразительны.
В этом посте мы подробно рассмотрим обучение с помощью машины алгоритмы и все их разновидности.
Итак, что такое алгоритмы машинного обучения?
Подход, используемый системой ИИ для выполнения своей задачи — как правило, прогнозирования выходных значений на основе заданных входных данных — известен как алгоритм машинного обучения.
Алгоритм машинного обучения — это процесс, который использует данные и используется для создания моделей машинного обучения, готовых к производству. Если машинное обучение — это поезд, выполняющий работу, то алгоритмы машинного обучения — это локомотивы, которые двигают работу вперед.
Лучший подход к машинному обучению будет определяться бизнес-проблемой, которую вы пытаетесь решить, типом набора данных, который вы используете, и доступными ресурсами.
Алгоритмы машинного обучения — это те, которые превращают набор данных в модель. В зависимости от типа проблемы, на которую вы пытаетесь ответить, доступной вычислительной мощности и типа данных, которые у вас есть, алгоритмы обучения с учителем, без учителя или с подкреплением могут работать хорошо.
Итак, мы говорили о контролируемом, неконтролируемом обучении и обучении с подкреплением, но что это такое? Давайте исследуем их.
Контролируемое, неконтролируемое и обучение с подкреплением
Контролируемое обучение
При обучении с учителем модель ИИ разрабатывается на основе предоставленных входных данных и метки, которая представляет прогнозируемый результат. На основе входных и выходных данных модель разрабатывает уравнение отображения и, используя это уравнение отображения, прогнозирует маркировку входных данных в будущем.
Допустим, нам нужно создать модель, которая сможет различать собаку и кошку. Несколько фотографий кошек и собак загружаются в модель с метками, указывающими, являются ли они кошками или собаками, чтобы обучить модель.
Модель стремится установить уравнение, связывающее метки на входных фотографиях с этими изображениями. Даже если модель никогда раньше не видела изображение, после обучения она может определить, кошка это или собака.
Обучение без учителя
Неконтролируемое обучение включает в себя обучение модели ИИ только на входных данных без их маркировки. Модель делит входные данные на группы со связанными характеристиками.
Затем прогнозируется будущая метка ввода в зависимости от того, насколько близко его атрибуты соответствуют одной из классификаций. Рассмотрим ситуацию, когда мы должны разделить группу красных и синих шаров на две категории.
Предположим, что остальные характеристики шаров идентичны, за исключением цвета. На основе того, как она может разделить мячи на два класса, модель ищет характеристики, которые различаются между мячами.
Две группы шаров — одна синяя и одна красная — получаются, когда шары делятся на две группы в зависимости от их оттенка.
Усиление обучения
В обучении с подкреплением модель ИИ стремится максимизировать общую прибыль, действуя так, как это возможно в конкретных обстоятельствах. Отзывы о предыдущих результатах помогают модели учиться.
Подумайте о сценарии, когда роботу предлагается выбрать маршрут между точками A и B. Робот сначала выбирает любой из маршрутов, потому что у него нет предварительного опыта.
Робот получает информацию о маршруте, по которому он идет, и получает от него знания. Робот может использовать входные данные для устранения проблемы в следующий раз, когда он столкнется с подобным обстоятельством.
Например, если робот выбирает вариант Б и получает вознаграждение, такое как положительная обратная связь, на этот раз он понимает, что должен выбрать вариант Б, чтобы увеличить свое вознаграждение.
Теперь, наконец, то, чего вы все ждете, — это алгоритмы.
Основные алгоритмы машинного обучения
1. Линейная регрессия.
Самый простой подход к машинному обучению, отличающийся от обучения с учителем, — это линейная регрессия. Обладая знаниями из независимых переменных, он в основном используется для решения проблем регрессии и создания прогнозов для непрерывных зависимых переменных.
Поиск линии наилучшего соответствия, которая может помочь в прогнозировании результата для непрерывных зависимых переменных, является целью линейной регрессии. Цены на жилье, возраст и заработная плата являются некоторыми примерами непрерывных значений.
Модель, известная как простая линейная регрессия, использует прямую линию для расчета связи между одной независимой переменной и одной зависимой переменной. В множественной линейной регрессии имеется более двух независимых переменных.
Модель линейной регрессии имеет четыре основных предположения:
- Линейность: существует линейная связь между X и средним значением Y.
- Гомоскедастичность: для каждого значения X остаточная дисперсия одинакова.
- Независимость: наблюдения независимы друг от друга с точки зрения независимости.
- Нормальность: когда X фиксирован, Y нормально распределен.
Линейная регрессия превосходно работает с данными, которые можно разделить по линиям. Он может контролировать переобучение, используя методы регуляризации, перекрестной проверки и уменьшения размерности. Однако бывают случаи, когда требуется обширная разработка признаков, что иногда может привести к переоснащению и шуму.
2. Логистическая регрессия
Логистическая регрессия — это еще один метод машинного обучения, который отличается от обучения с учителем. Его основное использование - классификация, хотя его также можно использовать для задач регрессии.
Логистическая регрессия используется для прогнозирования категориальной зависимой переменной с использованием информации из независимых факторов. Цель состоит в том, чтобы классифицировать выходы, которые могут находиться только между 0 и 1.
Взвешенная сумма входных данных обрабатывается сигмовидной функцией, функцией активации, которая преобразует значения от 0 до 1.
Основой логистической регрессии является оценка максимального правдоподобия, метод расчета параметров предполагаемого распределения вероятностей с учетом конкретных наблюдаемых данных.
3. Дерево принятия решений
Еще один метод машинного обучения, который отличается от обучения с учителем, — это дерево решений. Как для задач классификации, так и для регрессии можно использовать подход дерева решений.
Этот инструмент принятия решений, напоминающий дерево, использует визуальные представления для отображения предполагаемых результатов, затрат и последствий действий. Идея разделения данных на отдельные части аналогична человеческому разуму.
Данные были разделены на отдельные части настолько, насколько мы могли их детализировать. Основная цель дерева решений — построить обучающую модель, которую можно использовать для прогнозирования класса целевой переменной. Отсутствующие значения можно обрабатывать автоматически с помощью дерева решений.
Нет требований к одноразовому кодированию, фиктивным переменным или другим этапам предварительной обработки данных. Он жесткий в том смысле, что в него трудно добавлять свежие данные. Если вы получили дополнительные размеченные данные, вам следует переобучить дерево для всего набора данных.
В результате деревья решений — плохой выбор для любого приложения, требующего динамического изменения модели.
В зависимости от типа целевой переменной деревья решений делятся на два типа:
- Категориальная переменная: дерево решений, в котором целевая переменная является категориальной.
- Непрерывная переменная: дерево решений, в котором целевая переменная является непрерывной.
4. Случайный лес
Метод случайного леса — это следующий метод машинного обучения, который представляет собой контролируемый алгоритм машинного обучения, широко используемый в задачах классификации и регрессии. Это также древовидный метод, похожий на дерево решений.
Метод случайного леса использует лес деревьев или множество деревьев решений для вынесения суждений. При обработке задач классификации метод случайного леса использовал категориальные переменные при обработке задач регрессии с наборами данных, которые содержат непрерывные переменные.
Ансамбль или смешивание многих моделей — это то, что делает метод случайного леса, что означает, что прогнозы делаются с использованием группы моделей, а не одной.
Возможность использования как для задач классификации, так и для регрессии, которые составляют большинство современных систем машинного обучения, является ключевым преимуществом случайного леса.
Ensemble использует две разные стратегии:
- Пакетирование: при этом создается больше данных для набора обучающих данных. Это сделано для уменьшения разброса прогнозов.
- Повышение — это процесс объединения слабых учеников с сильными учениками путем построения последовательных моделей, в результате чего получается окончательная модель с максимальной точностью.
5. Наивный байесовский
Проблема бинарной (двухклассовой) и многоклассовой классификации может быть решена с использованием метода Наивного Байеса. Когда метод объясняется с использованием двоичных или категорийных входных значений, его проще всего понять. Предположение, сделанное наивным байесовским классификатором, состоит в том, что наличие одного признака в классе не влияет на наличие каких-либо других признаков.
Приведенная выше формула указывает:
- P(H): Вероятность того, что гипотеза H верна. Априорная вероятность упоминается как это.
- P(E): Вероятность доказательства
- P(E|H): Вероятность того, что гипотеза подтверждается фактами.
- P(H|E): Вероятность того, что гипотеза верна при наличии доказательств.
Наивный байесовский классификатор будет учитывать каждую из этих характеристик по отдельности при определении вероятности определенного результата, даже если эти атрибуты связаны друг с другом. Наивная байесовская модель проста в построении и эффективна для больших наборов данных.
Известно, что он работает лучше, чем даже самые сложные методы категоризации, хотя и является базовым. Это набор алгоритмов, основанных на теореме Байеса, а не на одном методе.
6. K-ближайшие соседи
Техника K-ближайших соседей (kNN) — это подмножество контролируемого машинного обучения, которое можно использовать для решения проблем классификации и регрессии. Алгоритм KNN предполагает, что поблизости могут быть найдены сопоставимые объекты.
Я вспоминаю это как собрание единомышленников. kNN использует идею сходства между другими точками данных, используя близость, близость или расстояние. Чтобы пометить невидимые данные на основе ближайших помеченных наблюдаемых точек данных, используется математический метод для определения разделения между точками на графике.
Вы должны определить расстояние между точками данных, чтобы определить ближайшие сопоставимые точки. Для этого можно использовать такие измерения расстояний, как евклидово расстояние, расстояние Хэмминга, манхэттенское расстояние и расстояние Минковского. K известен как число ближайшего соседа, и часто это нечетное число.
KNN можно применять к задачам классификации и регрессии. Прогноз, сделанный, когда KNN используется для проблем регрессии, основан на среднем или медиане K-наиболее похожих событий.
Результат алгоритма классификации на основе KNN может быть определен как класс с наибольшей частотой среди K наиболее похожих вхождений. Каждый экземпляр, по сути, голосует за свой класс, и прогноз принадлежит классу, получившему наибольшее количество голосов.
7. K-средние
Это метод обучения без учителя, который решает проблемы кластеризации. Наборы данных делятся на определенное количество кластеров (назовем это K) таким образом, что точки данных каждого кластера однородны и отличаются от точек данных в других кластерах.
Методология кластеризации K-средних:
- Для каждого кластера алгоритм K-средних выбирает k центроидов или точек.
- С ближайшими центроидами или K кластерами каждая точка данных образует кластер.
- Теперь новые центроиды создаются в зависимости от уже присутствующих членов кластера.
- Ближайшее расстояние для каждой точки данных рассчитывается с использованием этих обновленных центроидов. До тех пор, пока центроиды не изменятся, этот процесс повторяется.
Это быстрее, надежнее и проще для понимания. Если есть проблемы, адаптивность k-средних упрощает корректировку. Когда наборы данных различны или хорошо изолированы друг от друга, результаты наилучшие. Он не может управлять ошибочными данными или выбросами.
8. Машины опорных векторов
При использовании метода SVM для классификации данных необработанные данные отображаются в виде точек в n-мерном пространстве (где n — количество имеющихся у вас функций). Затем данные можно легко классифицировать, поскольку значение каждого признака связывается с определенной координатой.
Чтобы разделить данные и нанести их на график, используйте линии, известные как классификаторы. Этот подход отображает каждую точку данных как точку в n-мерном пространстве, где n — это количество имеющихся у вас объектов, а значение каждого объекта — это определенное значение координат.
Теперь мы найдем линию, которая делит данные на два набора данных, которые были классифицированы по-разному. Расстояния от ближайших точек в каждой из двух групп будут самыми дальними по этой линии.
Поскольку две ближайшие точки — это те, которые наиболее удалены от линии в приведенном выше примере, линия, которая делит данные на две группы, которые были классифицированы по-разному, является средней линией. Наш классификатор – это строка.
9. Уменьшение размерности
Используя подход уменьшения размерности, обучающие данные могут иметь меньше входных переменных. Проще говоря, это относится к процессу уменьшения размера вашего набора функций. Давайте представим, что ваш набор данных имеет 100 столбцов; уменьшение размерности уменьшит это количество до 20 столбцов.
Модель автоматически становится более сложной и имеет больший риск переобучения по мере увеличения количества функций. Самая большая проблема при работе с данными в больших измерениях — это так называемое «проклятие размерности», которое возникает, когда ваши данные содержат чрезмерное количество характеристик.
Для уменьшения размерности можно использовать следующие элементы:
- Чтобы найти и выбрать подходящие характеристики, используется отбор признаков.
- Используя уже существующие функции, разработка функций вручную создает новые функции.
Заключение
Возможно как неконтролируемое, так и контролируемое машинное обучение. Выберите обучение с учителем, если ваши данные менее многочисленны и хорошо помечены для обучения.
Большие наборы данных часто будут работать и давать лучшие результаты при использовании неконтролируемого обучения. Глубокое обучение Методы лучше всего подходят, если у вас есть значительный набор данных, который легко доступен.
Укрепление обучения и глубокое обучение с подкреплением — вот некоторые темы, которые вы изучали. Характеристики, использование и ограничения нейронных сетей теперь вам ясны. И последнее, но не менее важное: вы рассмотрели варианты для разных языков программирования, IDE и платформ, когда дело дошло до создания собственного модели машинного обучения.
Следующее, что вам нужно сделать, это начать изучать и использовать каждый обучение с помощью машины подход. Даже если тема широкая, любую тему можно понять за несколько часов, если сосредоточиться на ее глубине. Каждый предмет стоит особняком от других.
Вы должны думать об одной проблеме за раз, изучать ее, применять на практике и использовать язык по вашему выбору для реализации алгоритма(ов) в ней.
Оставьте комментарий