Альфредо Канциани, Абишек Чаурасиа иЭудженио Кулурчелло

Eстьновая волна глубоких нейронных сетейприходит. Это эволюция моделей прямой связи, которыемы ранее подробно проанализировали,

Новый вид нейронных сетей - это эволюция первоначальной модели прямой связиLeNet5/AlexNetи производные, и включают в себя более сложные схемы обхода, чемRESNET/начало, Эти прямые нейронные сети также называютсякодеры,поскольку они сжимают и кодируют изображения в меньшие векторы представления.

Новая волна нейронных сетей имеет две важные новые функции:

• генеративные ветви: также называетсядекодеры, поскольку они проецируют вектор представления обратно во входное пространство
• повторяющиеся слои: это объединяет представления от предыдущих временных шагов с входами и представлениями текущего временного шага

Большой! Но что эта дополнительная сложность может сделать для нас?

Оказывается, обычные нейронные сети с прямой связью имеют много ограничений:

1-не может локализоватьточно: из-за понижающей дискретизации и потери пространственного разрешения в верхних слоях локализация объектов / объектов / классов нарушается

2-не могу рассуждать о сцене: поскольку они сжимают изображение в короткий код представления, они теряют информацию о том, как изображение составлено, и как части изображения или сцены расположены в пространстве

2- естьвременная нестабильностьТак как они обучены на неподвижных изображениях, они не изучали плавные пространственно-временные преобразования движения объектов в пространстве. Они могут распознавать категории объектов на одном изображении, но не на других, и очень чувствительны ксостязательный шума такжевозмущения

3-не могу предсказать: поскольку они не используют временную информацию, нейронные сети с прямой связью предоставляют новый код представления в каждом кадре, только на основе текущего ввода, но не могут предсказать, что произойдет в следующих нескольких кадрах (примечание: сисключенияне обученный на видео)

кпревзойти эти ограниченияНам нужна сеть нового типа, которая может проецировать изученное представление в пространство входных изображений, а также обучаться на последовательных по времени последовательностях изображений:нам нужно тренироваться на видео,

Это списокрасширенные возможностичто эти новые сети могут обеспечить:

• неконтролируемое обучениеОни могут быть предварительно обучены на видео, чтобы предсказать будущие кадры или представление, таким образом, требуя намного меньше помеченных данных (дорого для видео!), чтобы обучаться для выполнения некоторых задач
• сегментация:сегментировать различные объекты в изображении
• сцена-синтаксический: следует из сегментации, если набор данных имеет метки объекта на пиксель, используемые вавтономное вождениеи дополненная реальность
• локализация: следует из сегментации и идеальных границ объекта, все сети синтаксического анализа и сегментации могут сделать это!
• пространственно-временное представление: используйте видео для обучения, а не только неподвижные изображения, знайте понятие времени и временных отношений
• предсказание видео: некоторые сети предназначены дляпредсказывать будущие кадры в видео
• прогнозирование представления: какая-то сеть можетпредсказать представление будущих кадров в видео
• умение выполнятьонлайн обучениепутем мониторинга сигнала ошибки между предсказаниями и фактическими будущими кадрами или представлениями

Давайте теперь рассмотрим детали и реализации этих новых сетей следующим образом.

Генеративные лестничные сети

Эти модели используют пару кодера и декодера для сегментирования изображений на части и объекты. Примеры:ENet,SegNet,Unet,DenseNets,лестничные сетии многое другое.

Вот представительная 3-х слойная модель:

D модулиявляются стандартными слоями прямой связи.G модулиявляются генеративными модулями, похожими на стандартные слои прямой связи, но с деконволюцией и повышением частоты дискретизации. Они также используют остаточные соединения«Рес»соединить представление на каждом уровне кодера с одним из уровней декодера. Это заставляет представление порождающих слоев модулироваться представлением с прямой связью и, таким образом, иметь более сильную способность локализовать и анализировать сцену на объекты и части."Икс"это входное изображение и«У»Сегментация выходных данных на одном шаге по времени.

Эти сети могут выполнять сегментацию, разбор сцен и точную локализацию, но не работают во временной области и не имеют памяти о прошлых кадрах.

Кодер для обхода декодера на каждом уровне недавно помог этим сетям достичь самых современных характеристик.

Рекурсивные и генеративные лестничные сети

Одна из новейших архитектур глубоких нейронных сетей добавляет рекурсию к генеративным лестничным сетям Это Рекурсивные и Генеративные лестничные сети (REGEL, мы их называемCortexNetмоделей), и они являются одной из самых сложных моделей глубоких нейронных сетей на сегодняшний день, по крайней мере, для анализа изображений.

Вот 3-х уровневая модель одной сети, которую мы сейчас используем:

Dа такжегмодули практически идентичны модулям в генеративных лестничных сетях, описанным выше. Эти сети добавляют рекуррентный путь«Т-1»с каждогогмодуль к соответствующемуDмодуль в том же слое.

Эти сети принимают последовательность кадров из видео в качестве входах [т]и на каждом временном шаге они предсказывают следующий кадр в видеоу [т + 1], который близок кх [т + 1], если прогноз точный.

Поскольку эта сеть может измерить ошибку между прогнозированием и фактическим следующим кадром, она знает, когда она может предсказать ввод или нет. Если нет, он может активировать инкрементальное обучение, что не могут сделать сети с прямой связью. Таким образом, он способен выполнять присущиеонлайн обучение,

Мы считаем, что это очень важная особенность машинного обучения, которая является прерогативой прогностических нейронных сетей. Без этой функции сеть не может обеспечить истинные предсказательные сигналы достоверности и не может выполнять эффективное инкрементальное обучение.

Эти сети все еще изучаются. Наш совет: следите за ними!

Интеллектуальное кодирование сетей - часть 1

Рекурсивные генеративные сети являются одной из возможных прогностических моделей. В качестве альтернативыинтеллектуальное кодированиевычислительная нейробиологическая модель может обеспечить возможности прогнозирования и быть организована в виде иерархических глубоких нейронных сетей

Вот пример двухслойной модели:

Рао и Баллардмодель иФристоновская реализациявычислить ошибку«Е»на каждом слое между«А»модули (аналогичноDмодули над лестничными сетями) и «Р / Ай»модули (аналогичногмодули вышестоящих сетей). Эта ошибка«Е»представляет на каждом уровне способность сети прогнозировать представление. ошибка«Е»затем пересылается в качестве входных данных на следующий слой."Р"является сверточным модулем RNN / LST, и«Ай»похож на«А»модуль."Р"а также«Ай»также может быть объединен в один рекуррентный модуль. В первом слое"Икс"это входной кадр.

Проблема этой модели заключается в том, что эта сеть сильно отличается от стандартных нейронных сетей с прямой связью. Он не создает иерархического представления на более высоком уровне, который создает комбинацию признаков более низких уровней, скорее, эти прогнозирующие сети вычисляют представлениеостаточные ошибкипредыдущих слоев.

Как таковые, они немного напоминают остаточные сети прямой связи, но на практике принуждение этих сетей к передаче ошибок не приводит их к обучению эффективному иерархическому представлению на более высоких уровнях. Как таковые, они не способны эффективно выполнять другие задачи на основе представлений верхнего уровня, такие как категоризация, сегментация, распознавание действий. необходимы дополнительные эксперименты, чтобы представить эти ограничения.

Эта модель была реализована вPredNetБилл Лоттер и Дэвид Кокс. Аналогичная модель также изМозговая Корпорация,

Интеллектуальное кодирование сетей - часть 2

SpratlingМодель прогнозирующего кодирования проецирует представлениеYк верхним слоям, а не ошибка«Е», как было выполнено в моделях Friston выше. Это делает эту сетевую модель более совместимой с иерархическими глубокими нейронными сетями с прямой связью и позволяет избежать изучения моментов ошибок на верхних уровнях.

Вот пример двухслойной модели:

Эта модель может быть существенно переписана и упрощена до модели Рекуррентной порождающей лестницы, которую мы видели выше. Это потому что"Р"а также«Ай»может быть объединен в один рекуррентный модуль.

Отношение к генеративным состязательным сетям

Генеративные состязательные сети (GAN) - очень популярная модель, которая способна научиться генерировать образцы из распределения данных. Представленная здесь новая модель сети превосходит GAN, потому что:

• вместо того, чтобы обучаться в минимаксной игре, они непосредственно обучаются для полезной задачи, поэтому и дискриминатор, и генератор непосредственно полезны
• они учатся создавать полезные входные представления, а также могут генерировать новые входные данные
• они могут научиться генерировать целевые данные на основе входных данных
• сеть генератора и дискриминатора связаны между собой, что устраняет проблемы сходимости
• генератор дает почти идеальные фотореалистичные образцы (см. ниже), по сравнению снеприглядные результаты, предоставленные GAN

Обратите внимание на другие модели

Модели вроде CortexNet напоминают оПиксельные рекуррентные сетии его различные реализации (PixelCNN,Пиксель CNN ++,WaveNet,так далее) Эти модели нацелены на моделирование распределения входных данных: («Наша цель состоит в том, чтобы оценить распределение по естественным изображениям, которое можно использовать для точного вычисления вероятности [данных] и генерирования новых.»). Они только сосредоточены на создании новых реалистичных образцов данных, но не показали, как изучать представления для реальных задач. Эти модели также очень медленно выводятся.

Выводы

Статья на эту темуВот,CortexNetвсе еще изучается и оценивается. Например самыйнедавняя газета PredNetпредставляет сравнение интеллектуального кодирования и лестничных сетей, где PredNet побеждает в некоторых задачах. PredNet использовался для выполнения ориентированной на ориентацию классификации лиц с использованием представления более высокого уровня. Также он может прогнозировать углы поворота в наборе данных, но в основном с использованием простого фильтра движения из первого уровня сети. Эта задача не требует иерархической декомпозиции признаков.

Об авторе

У меня почти 20-летний опыт работы в нейронных сетях как в аппаратном, так и в программном обеспечении (редкая комбинация). Смотрите обо мне здесь:средний,страница в Интернете,филолог,LinkedIn, и больше…

Оригинальная статья