Обзор методов пространственно-временного подавления шума в видео с использованием компенсации движения

Аннотация. В данной статье обозреваются различные методы подавления шума в видео.

Задача подавления шума в видео последовательностях одна из самых распространенных проблем в области обработки видео. Общая задача подавления шума, как правило, решается в два этапа. На первом этапе происходит определение наличия шума в видео последовательности, а также его характеристик. На втором этапе происходит подавление шума алгоритмом, адаптирующимся к конкретным вычисленным параметрам шума.

В рамках данной публикации рассматриваются методы подавления шума с равномерным распределением. Данный тип шума можно охарактеризовать единственным параметром – его амплитудой. Существующие методы, как правило, имеют большую вычислительную сложность, и будучи изначально разработанными для определения уровня шума в статических изображениях, редко используют временную область видео, что снижает их эффективность.

В области фильтрации шума в последнее время получили широкое распространение методы, основанные на группировке и усреднении значений пикселей в пределах фиксированного окна небольшого размера. Можно выделить методы, использующие усреднения на основе медианы [1], взвешенного усреднения [2, 3], различные методы на основе выделения классов областей или границ [4]. Проведённые авторами исследование данных методов выявило заметные недостатки в визуальном качестве этих методов, появление артефакта ступенчатости и других побочных эффектов

Авторы предлагают новый метод определения уровня шума и методы пространственной и временной фильтрации видео, которые во многом свободны от указанных недостатков. Предложенные алгоритмы основаны на компенсации движения, а следовательно учитывают пространственно-временную корреляцию между двумя кадрами.

Алгоритм определения уровня шума выбирает равномерные области, не содержащие границ, в два этапа. На первом этапе существенно используется информация, полученная на стадии компенсации движения; данный шаг позволяет существенно снизить вычислительные затраты алгоритма определения уровня шума по сравнению с существующими аналогами. На втором этапе происходит оценка наличия границ в оставшихся блоках; вычисление среднего уровня шума по данным блокам происходит также с использованием информации о движении. Предлагаемый алгоритм определения уровня шума использует дополнительно разработанный метод, позволяющий получить приемлемое значение уровня шума даже в случае, когда кадр видео последовательности не содержит равномерных областей, что выгодно отличает предложенный метод от известных алгоритмов (основанных исключительно на анализе в пространственной области) как по скорости, так и по стабильности получаемого результата. Дополнительно разработан метод обнаружения смены сцены, что помогает предотвратить нежелательные всплески значения величины шума; также реализован метод сглаживания полученного значения во времени, что соответствует более адекватному поведению результирующего значения.

В качестве алгоритма пространственного и временного подавления шума предлагается новый метод на основе вычисления уровня соответствия значения пикселей. Для каждого пикселя изображения вычисляются определенные характеристики, после чего значения пикселей усредняются в зависимости от величины корреляций найденных значений. Данный метод разработан с использованием иерархичного подхода: для более ровных областей кадра видео последовательности используется окно большего размера, для текстур границ – меньшего; подобное решение позволяет добиться более естественного результата.

Предложенные методы позволяют получать высокое качество результирующего изображения. Порядка пятидесяти процентов вычислительных затрат данного алгоритма связаны с компенсацией движения которая, зачастую, используется как часть нескольких одновременно выполняющихся алгоритмов, а следовательно в некоторых случаях ее можно не учитывать при определении сложности предложенных методов.