Вне кластеризации: новые методы, которые продвигают будущее обучения без учителя

  Перевод   Ссылка на автора

Если вы спросите какую-либо группу студентов, изучающих науку о данных, о типах алгоритмов машинного обучения, они ответят без колебаний: под наблюдением и без присмотра. Однако, если мы попросим ту же группу перечислить различные типы обучения без учителя, мы, скорее всего, получим ответ, такой как кластеризация, но не намного. Несмотря на то, что контролируемые методы ведут нынешнюю волну инноваций в таких областях, как глубокое обучение, очень мало сомнений в том, что будущее искусственного интеллекта (ИИ) перейдет к более неконтролируемым формам обучения. В последние годы мы добились большого прогресса в нескольких новых формах неконтролируемых методов обучения, которые выходят далеко за рамки традиционных методов кластеризации или анализа основных компонентов (PCA). Сегодня я хотел бы исследовать некоторые из самых выдающихся новых школ мысли в неконтролируемом пространстве и их роль в будущем ИИ.

Переход к более неконтролируемым формам обучения для моделей искусственного интеллекта кажется неизбежным. Некоторые эксперты утверждают, что для достижения любой формы значимого общего интеллекта модели должны разрабатывать стратегии независимого обучения, основанные на наблюдении и изучении окружающей среды. Эта линия мышления вдохновляет на то, как дети регулярно учатся, познавая новые вещи и исследуя свое окружение. Нынешнее поколение контролируемых методов обучения основано на богатых наборах данных и редких вознаграждениях, которые создают алгоритмы, которые хороши в понимании набора данных, но не настолько в применении знаний для множества задач. Еще более прагматичный аргумент в пользу неконтролируемого обучения связан с колоссальными усилиями, которые требуются для создания и поддержки крупномасштабных контролируемых учебных решений. Создание высококачественных маркированных наборов данных является сложной задачей и просто невозможно для некоторых задач. Заглядывая в будущее ИИ с прагматической точки зрения, мы можем ускорить способность агентов ИИ самостоятельно обучаться быстрее, чем мы можем создавать высококачественные наборы данных.

Если мы поделим ИИ на три основные формы обучения: контролируемое, подкрепляющее и неконтролируемое, и построим их на графике, связанном со временем и способностью выполнять общие задачи, мы получим что-то вроде следующего рисунка. По мере развития ИИ мы должны переходить к более неконтролируемым формам обучения, способным эффективно обобщать различные задачи.

Три измерения неконтролируемых знаний

Один из ключевых способов понять новые формы обучения без учителя - это проанализировать, как мы приобретаем знания в отсутствие обучения. Представьте, что вы приземлились на новой планете вместе с другими астронавтами. У вас нет предварительных знаний об этой планете и нет возможности искать информацию, так как вы узнаете об этом? Существует четыре интуитивно понятных метода, которые вы можете использовать:

1)Позвольте мне попробовать это ...:Взаимодействовать с окружающей средой и увидеть результаты.

2)Это выглядит так:Интуитивно используйте аналогии из наших текущих знаний и предыдущего опыта, чтобы объяснить новую среду.

3)Как вы думаете, это ...Обсудите с другими, чтобы сформировать лучшие мнения и знания.

4)Что будет, если:Попробуйте предсказать исход возможных действий в новом

Экстраполируя эти четыре метода в мир глубокого обучения, мы получаем, что первая форма формирования знаний ближе к методам обучения с подкреплением, которые учатся методом проб и ошибок, в то время как остальные три в большей степени связаны с новыми формами обучения без учителя. Более конкретно, есть три формы методов обучения без присмотра, которые связаны с пунктами 2, 3 и 4: трансферное обучение, генеративные состязательные методы и модели авторегрессии.

Обучение с помощью знания: трансферное обучение

Трансферное обучение - это форма репрезентативного обучения, основанная на идее овладения новым заданием путем повторного использования знаний из предыдущего задания. Традиционное обучение является изолированным и происходит исключительно на основе конкретных задач, наборов данных и обучения на них отдельных изолированных моделей. Не сохраняются знания, которые можно перенести из одной модели в другую. В трансферном обучении вы можете использовать знания (характеристики, вес и т. Д.) Из ранее обученных моделей для обучения новых моделей и даже решать такие проблемы, как получение меньшего количества данных для новой задачи!

Обучение через взаимодействие: состязательные модели

Состязательные модели основаны на идее формирования знаний путем создания соревнований (дебатов) между несколькими агентами. Одна из самых популярных форм состязательных моделей известна как генеративные состязательные нейронные сети (GAN). Концептуально GAN - это форма обучения без контроля, в которой две нейронные сети создают знания, соревнуясь друг с другом в игре с нулевой суммой. Хотя GAN являются отличным механизмом получения знаний, их также можно использовать для создания атак на глубокие нейронные сети. В очень хорошо известном примере злоумышленник GAN может вызвать незаметные изменения в обучающих изображениях, чтобы обмануть модель классификации.

Обучение с помощью прогнозирования: авторегрессивные модели

Семейство авторегрессионных моделей фокусируется на обучении, делая небольшие прогнозы. В авторегрессионных моделях данные делятся на последовательность маленьких кусочков, каждый из которых прогнозируется по очереди. Такие модели можно использовать для генерации данных, последовательно угадывая, что будет дальше, вводя догадки в качестве входных данных и угадывая снова. Авторегрессионные модели эффективно изучают данные, пытаясь предсказать каждый их фрагмент в определенном порядке. Хорошим примером авторегрессионных моделей являются языковые модели, в которых каждое слово предсказывается из предшествующих ему слов.

Неуправляемое обучение, вероятно, будет в авангарде следующего десятилетия исследований в области машинного обучения. По мере развития ИИ мы начнем преодолевать препятствия из-за доступности высококачественных наборов данных и должны будем искать более органичные формы обучения. По крайней мере, на данный момент будущее ИИ выглядит очень без присмотра.