Различия 'SAME' и 'VALID' padding в tf.nn.max_pool в TensorFlow

Пройдите тест, узнайте какой профессии подходите и получите бесплатную карьерную консультацию

В конце подарим скидку до 55% на обучение

Я предпочитаю

Работать самостоятельно и не зависеть от других

Работать в команде и рассчитывать на помощь коллег

Организовывать и контролировать процесс работы

Быстрый ответ

В контексте функции tf.nn.max_pool в TensorFlow термины 'SAME' и 'VALID' определяют различные способы обработки границ входных данных. 'SAME' паддинг обеспечивает совпадение размеров входных и выходных данных за счёт добавления нулевого отступа, в то время как 'VALID' не применяет отступ, что приводит к уменьшению размера выходного тензора.

Пример использования 'SAME' (фильтр 2x2, шаг 2):

Python

Скопировать код

# Вход:                    После добавления паддинга 'SAME':    Результат:
1 2                         0 1 2 0                                    3 4
3 4   ->                    0 3 4 0   ->    
                             0 0 0 0    
# Здесь мы позволяем себе "сыскачить" по краям.

Пример использования 'VALID' (фильтр 2x2, шаг 2):

Python

Скопировать код

# Вход:                 Результат:
1 2                               4
3 4    ->   
# Строгий режим, без индульгенции в виде паддинга!

'SAME' паддинг сохраняет исходный размер, а 'VALID' возвращает меньший размер выхода.

Пройдите тест и узнайте подходит ли вам сфера IT

Пройти тест

Глубокое изучение отступов

Для эффективной настройки нейронной сети крайне важно понимать, как различные типы паддинга влияют на размеры выходного тензора, сохранение признаковой карты и затраты на вычисления.

Механизм работы паддингов

Паддинг 'SAME' гарантирует сохранение размеров выходных данных, совпадающих с входными (при шаге 1), добавляя нули вокруг исходных данных. Это позволяет каждому элементу быть включённым в операцию пулинга и сохранить пространственные размеры признаковых карт на всех слоях.
Паддинг 'VALID' применяет операцию пулинга строго к исходным данным, что приводит к уменьшению размеров выходного тензора. Однако это повышает эффективность расчетов.

Влияние шага

При шаге больше единицы даже паддинг 'SAME' может уменьшить размер выходного тензора. Тем не менее, этот тип паддинга стремится распределить добавление равномерно по всем сторонам входных данных, что может дать преимущество нижней или правой стороне при нечетном их размере.
При шаге больше единицы и паддинге 'VALID' исходные данные покрываются выборочно, что обычно приводит к более значительному уменьшению размеров.

Обработка краев

Паддинги 'SAME' дополняют данные таким образом, что обеспечивают равномерное покрытие всех элементов, включая случаи с нечетным размером входных данных, когда добавляется дополнительная строка или столбец нулей.
Паддинги 'VALID' покрывают только те участки данных, которые могут полностью покрыться фильтром, обрезая крайние элементы, не поддающиеся полному покрытию.

Расчет размеров выхода

Для 'SAME' паддинга размер каждого измерения выходных данных определяется как целочисленное округление вверх отношения размера входных данных к шагу. Независимо от целых или дробных размеров ваших данных, результат 'SAME' всегда округляется вверх.
При использовании 'VALID' паддинга размеры выходного тензора вычисляются по формуле (входные данные — размер фильтра) / шаг + 1, причем единица добавляется только если остаётся часть данных, не покрытая пулингом.

Визуализация

Давайте преобразуем наше обсуждение паддингов в более наглядную форму.

Стопа: [🦶Ваши данные] Коробка для обуви: [👟👟👟Область для паддинга]

Использование 'SAME' позволяет нам добавить дополнительные стельки в коробку для идеальной посадки:

Паддинг 'SAME': [🦶👟=👟👟] // Размер обуви (или выхода) неизменен

'VALID' — это выбор обуви, которое идеально подходит без дополнительных стелек:

Паддинг 'VALID': [🦶👟] // Подходит по размеру, остальное — излишки

'SAME' поддерживает размер выходного тензора, а 'VALID' исключает лишнее.

Признаки предостережения, рекомендации и заключение

Выбор между паддингами 'SAME' и 'VALID' должен опираться на структуру сети и стоящие перед вами задачи.

При использовании 'SAME' имейте в виду:

Если требуется сохранить информацию на границах.
Когда важно сохранение пространственных размеров на карте признаков.
При создании сетей, подобных U-Net, где важно поддерживать одинаковый размер на протяжении всей сети.

В случае 'VALID' учитывайте:

Когда требуется сократить размеры и объём данных.
Если выделение признаков важнее, чем сохранение размеров, особенно на более глубоких уровнях сети.
При необходимости экономии ресурсов, так как 'VALID' требует меньше вычислительных операций.