Проєкти / moving-target-indicator
Цілі в кілька пікселів із рухомої камери, у реальному часі на edge-пристрої
Ціль завширшки три пікселі майже не несе інформації в просторі. Уся вона в часі, тому пайплайн спершу інтегрує, а вже потім вирішує.
Проблема
Ціль розміром від одного до трьох пікселів не має текстури, форми чи контексту. Просторова фільтрація дає їй близько 3 дБ; десять кадрів часової інтеграції дають близько 10 дБ. По суті вся інформація живе в часі. Але камера рухається, тож рухається все в кадрі, а залишок після неідеальної компенсації руху виглядає точнісінько як ціль. Точність реєстрації — це відношення сигнал/шум усієї системи. Поширена схема — детектор, а за ним трекер — ставить поріг на кожному кадрі й викидає єдиний корисний сигнал ще до початку трекінгу.
Що я побудував
Ланцюг — align → whiten → integrate over motion hypotheses → decide sequentially: вирівняти, вибілити, інтегрувати за гіпотезами руху, вирішувати послідовно. Це порядок залежностей із запланованим зворотним зв’язком, а не однонапрямна труба. Навчений компонент навмисно малий: крихітний верифікатор над кропами-кандидатами, які висуває класичний фронтенд. Його навчено на складних негативах, зібраних із хибних тривог самого пайплайна.
Одна реалізація, а не дві. Ядро на C++17, яке йде в реліз, біндинги pybind11 і стенд оцінювання на Python, який через це вимірює саме той код, що йде в реліз. Для кожного етапу є еталон на numpy, написаний як його виконувана специфікація, і C++ має збігатися з ним до точності float; виміряна еквівалентність — на рівні 1e-7. Ядро крос-компілюється під aarch64 для цільової плати.
Що виміряно
Вирівнювання тримає медіанну залишкову похибку 0.080 px на реальному 4K-відео на 706 відкладених парах без жодного збою. Виграш від інтеграції точно відповідає закону √N на синтетичних даних, а на цілях, вставлених у реальне відео, пайплайн знаходить приблизно вдвічі слабші цілі за однакової частоти хибних тривог. Виграш доходить і до трекера: 3.52 дБ на рівні треків, а частота хибних треків лишається в межах, закладених у послідовний тест. Фільтрація IMM на повороті тримає 0.24 px проти 1.13 px для однієї моделі сталої швидкості; асоціація з урахуванням амплітуди піднімає розведення треків, що перетинаються, з рівня підкидання монетки до 0.9995.
Що не розв’язано, у числах
Складений ланцюг на реальному відео досі на 12–14 дБ не дотягує до порогу детекції, і цей розрив виміряно, а не оцінено. Запуск у нативній роздільній здатності скоротив розрив до 10.4 дБ, хоча кожен механізм покращився, бо поріг зростає разом із кількістю тестів на кадр; на найшвидшій послідовності робоча точка обвалилася до 40 хибних відміток на вікно проти 1.6 за чвертного масштабу. Прогноз узгодженого фільтра прямо спростовано. А 88–93 відсотки хибних відміток повторюються в межах 2 px у фіксованих стабілізованих точках у вікнах, що не перетинаються, у 15–25 разів частіше за випадковий рівень. Це знахідка, а не баг: вона називає наступний механізм, який треба побудувати. Жодна цифра затримки в проєкті не виміряна на цільовій платі, і документація про це прямо каже.
Код приватний. Публічна вітрина цієї компетенції — track-lab, його сторінки є на цьому сайті.