ПОДСЧЕТ ЯЧЕЕК БЛИСТЕРНОЙ ЛЕНТЫ НА ОСНОВЕ НАДЕЖНОГО СОПОСТАВЛЕНИЯ С ШАБЛОНОМ

Аннотация. В данной статье описывается применение надежной и адаптивной модификации сопоставления с шаблоном для подсчета ячеек блистерной ленты. Подход является устойчивым к масштабированию, поворотам, изменениям яркости, бликам, а также применим для различных типов блистерных лент.

Ключевые слова: автоматический подсчет, сопоставление с шаблоном, оптическое распознавание, машинное зрение

Введение

Подсчет количества ячеек на блистерной ленте является важным этапом приемки электронно-компонентной базы на предприятиях микроэлектронной промышленности. Однако этот процесс может быть трудоемким и подвержен ошибкам вследствие влияния человеческих факторов. Поскольку объекты в ленте являются однородными, автоматический подсчет с применением машинного зрения позволяет снизить вероятность ошибок.

В качестве метода детектирования ячеек был выбран подход на основе сопоставления с шаблоном с модификациями, позволяющими снизить влияние внешних условий как на качество работы алгоритма, так и на его производительность.

Предлагаемое решение

Алгоритм процесса подсчета блистерной ленты представлена на рисунке 1.

Рисунок 1. Алгоритм процесса "Подсчет ячеек блистерной ленты"

Наиболее ресурсозатратным и требующим высокой точности этапом в схеме является 2 этап (сопоставление с шаблоном). В изначальной реализации был проведен эксперимент с классическим сопоставлением с шаблоном, который дал хорошие показатели производительности на CPU, однако продемонстрировал неустойчивость к любым изменениям внешних условий и требовал тонкой настройки параметров, что делало его непригодным для реального применения.

Результаты анализа классического подхода представлены в таблице 1.

Таблица 1.

Особенности подхода классического сопоставления с шаблоном

Рисунок 2. Примеры неоднородностей яркости на блистерной ленте

В качестве базового решения была выбрана модификация подхода сопоставления с шаблоном на основе карт признаков глубокой искусственной нейронной сети. [1, c 2]

Надежное сопоставление с шаблоном

Надежное сопоставление с шаблоном основано на масштабируемом адаптивном извлечении признаков глубокой свертки. Признаки извлекаются из кадра сегмента с блистерной ленты и выделенного изображения шаблона с помощью модели VGG-13 [2, 413-417].

Сопоставление с шаблоном осуществляется по мере подобия NCC (Normalized cross corralation, нормализованная кросс-корреляция) [3, 1757-1763]:

Далее методом скользящего окна по карте сопоставления находятся координаты рамок ячеек и центроиды, а также осуществляется подавление не максимумов.

По результатам тестирования при сопоставлении с шаблоном ячеек ленты подтвердилась заявленная в описанной статье точность, однако метод продемонстрировал низкую производительность на CPU при подсчете NCC (в средне порядка 3 минут на кадр), что делало его не применимым для реальных приложений. Поэтому было принято решение о ряде модификаций подхода для повышения эффективности без снижения точности сопоставления.

Предлагаемые модификации надежного сопоставления по шаблону

По результатам экспериментов эффективными оказались следующие модификации:

1. Замена архитектуры VGG-13 на VGG-19 для извлечения признаков [4, 1-12] для повышения качества признаков и точности подсчета NCC.

2. Вычисление NCC не по окну из 64 карт признаков, а по окну в каждой карте с последующим усреднением результатов.

3. Удаление статистически выбросных центроидов в предположении о том, что все центроиды локализованы вблизи 1 прямой.

В таблице 2 представлены сравнения производительности и точности подсчета до модификации и после на разных типах блистерных лент при разрешении изображения 1080x1920.

Таблица 2.

Характеристики модификаций

На рисунке 3 представлены результаты детектирования центроидов на разных типах лент.

Рисунок 3. Результат детектирования центроидов на разных типах лент

Трекинг краев ленты

Для минимизации ошибок повторного подсчета частей сегмента ленты используется трекинг крайней левой ячейки, полностью входящей в кадр.

Поскольку алгоритм трекинга должен быть быстрым, в данном случае был использован трекер CSRT (Channel and Spatial Reliability Tracker) из библиотеки Opencv.

Он обеспечивает среднюю производительность 24,38 кадров в секунду.

Ограничением для использования является резкое смещение ленты при перемещении и является дальнейшим направлением исследования.

Рисунок 4. Отслеживание правого считаемого объекта

Линии слева – ограничитель перемещения крайне правого объекта для начала подсчета следующей части ленты.

Заключение

В рассмотренной статье был предложен подход на основе надежного сопоставления по шаблону, пригодный для реальных приложений в автоматизации процессов подсчета блистерных лент. Результаты экспериментов продемонстрировали высокую устойчивость модифицированного подхода к внешним условиям, а также высокую производительность.