База знань / int8-tiny-targets

Розгортання на edgeДослідження

Чи шкодить INT8-квантування детекції малих об'єктів? Втрати, яких не видно в mAP

Квантування детектора до INT8 коштує малим об'єктам у 1,4–3 рази більше, ніж загальній метриці, а нижче 12 пікселів опубліковані втрати сягають третини точності; що відомо, які є виправлення і чого ще ніхто не виміряв.

Один крок квантування може поглинути малу ціль

Один переріз карти активацій. Зменште контраст малої цілі: нижче приблизно половини кроку вона округлюється у фон, і крива INT8 стає пласкою. Збільште викид: він задає масштаб, тож кожен крок грубішає. Перемкніть масштаб на перцентиль, щоб обрізати викид і повернути дрібні кроки. Повнота по всіх цілях майже не змінюється, бо малих цілей лише 5 із 100.

012345активація↑ 12,0великамала↑ 127,0викид
0,30 (0,30 кроку INT8)
127
Масштаб INT8

Крок INT8: 1,000 (масштаб = 127,0 / 127)

Мала ціль після INT8: втрачена. У FP32: виявлена.

Повнота на фіксованій вибірці з 100 цілей (95 великих, 5 малих)
FP32INT8
Усі 100100% (100/100)95% (95/100)
Малі 5100% (5/5)0% (0/5)

Спрощена ілюстрація механізму, а не вимірювання: один переріз, вигадана вибірка і найпростіше правило виявлення. Активації подано в одиницях, де 1 дорівнює одному кроку INT8 за типового викиду (127).

Правило виявлення, однакове для FP32 і INT8: ціль вважається виявленою, коли її пік піднімається більш ніж на 0,1 над локальним фоном (медіаною 6 позицій з кожного боку). Після INT8 цей підйом дорівнює нулю або цілому числу кроків, тож ціль виживає, лише якщо її пік округлюється вгору щонайменше на один крок; на фоні, що округлюється до нуля, це означає висоту понад пів кроку.

Вибірка: 95 великих цілей (піки від 1,5 до 18) і 5 малих (піки від 0,8 до 1,2 значення повзунка), кожна на власному тьмяному фоні, усі з одного фіксованого зерна генератора. Один масштаб, відкалібрований на всіх разом, застосовується до кожної цілі, як у статичному квантуванні після навчання.

Проблема

Щоб запустити детектор на маленькому комп’ютері поруч із камерою, його стискають: ваги й активації переводять із 32-бітних чисел з рухомою комою у 8-бітні цілі (INT8), і в одному вимірюванні спільноти малий детектор на CPU Raspberry Pi 5 став приблизно вдвічі швидшим. Зазвичай перевіряють загальну точність (mAP) до і після, і вона здебільшого змінюється на пункт-два. Але загальне число усереднює всі об’єкти тестового набору, а більшість із них великі. Коли ваша ціль завширшки кілька пікселів (дрон за кілометр у тепловізорі, птах, людина на аерознімку), те саме стиснення може коштувати їй значно більше, і загальна метрика цього не покаже. Ця стаття збирає опубліковане про цей ефект, наявні виправлення і те, що досі не виміряно.

Звичайний підхід

  • Навчити модель у FP32, потім застосувати пост-тренувальне квантування (PTQ): прогнати кілька сотень калібрувальних зображень, записати діапазон кожного тензора активацій і відобразити цей діапазон на 256 цілих рівнів.
  • Один масштаб на тензор для активацій (на канал для ваг), обраний за максимумом, перцентилем або KL-дивергенцією між гістограмами до і після квантування.
  • Прийняти модель, якщо загальний mAP упав менш ніж приблизно на пункт; якщо більше, перейти на навчання з урахуванням квантування (QAT).
  • Звітувати точність середніми у стилі COCO. «Малі» об’єкти в COCO — це все, що менше 32 x 32 пікселі, тобто багато більше за ціль у 4 пікселі.

Де він ламається, з цифрами

Малі об’єкти стабільно втрачають більше. Відносне падіння, пораховане з таблиць самих статей (AP — загальна метрика, AP_S — для малих об’єктів, AP_L — для великих):

стаття налаштування AP AP_S AP_L
FQN, CVPR 2019 RetinaNet-R50, 4 біти, QAT -8.7 % -14.8 % -8.4 %
FQN, CVPR 2019 Faster R-CNN-R50, 4 біти -12.2 % -17.3 % -10.8 %
AQD, CVPR 2021 FCOS-R50, 4 біти -2.3 % -7.2 % -2.2 %
Q-DETR, CVPR 2023 DETR-R50, 4 біти (увага 8 бітів) -6.2 % -13.7 % -2.0 %
Q-DETR, базова лінія з її таблиць SMCA-DETR, 8 бітів, PTQ, калібрування за перцентилем -8.5 % -19.6 % -5.4 %
Q-YOLO YOLOv5s / v7, 8 бітів для ваг і активацій, метод Q-YOLO від 0 до -0.2 % від -0.3 до -0.9 % -0.2 %

Закономірність: за помірних втрат малі об’єкти втрачають у 1,4–3 рази більше, ніж загальне число, і в 1,6–7 разів більше, ніж великі; у рядках зі згортковими мережами загальне число тримається близько до числа для великих, бо великих об’єктів більшість. Останній рядок теж важливий: для згорткової YOLO ретельний 8-бітний метод коштує малим об’єктам COCO менше одного відсотка. Детектори-трансформери втрачають більше: найкращий 8-бітний метод у таблицях Q-DETR (VT-PTQ) усе одно коштує малим об’єктам 7,3 %. У масштабі COCO і з добрим рецептом INT8 для згорткової мережі майже безпечний.

Нижче 16 пікселів картина інша. Два вимірювання, жодне не рецензоване, вказують в один бік:

  • Бакалаврська робота в Лейдені (LIACS, 2026, PDF) квантувала YOLOv11n до INT8 через PTQ в ONNX Runtime (калібрування за мінімумом і максимумом) на XS-VID, наборі із середнім об’єктом 10,6 пікселя, з трекером ByteTrack поверх. Загальний AP упав на 10,5 %, але на 35 % для об’єктів 0–12 пікселів, на 22 % для 12–20 і на 15 % для 20–32. На рівні треків MOTA змінилася з 0,247 до 0,235, IDF1 — з 0,404 до 0,376. QAT у цій роботі вийшло гіршим за PTQ, а запропоноване виправлення не спрацювало, тож це радше ознака, ніж доказ. Інших даних на рівні треків для набору із середнім об’єктом близько 11 пікселів ми не знайшли (метрики треків — для всього набору, не за розміром).
  • Вимірювання спільноти (hailo-uav-tracker, DUT Anti-UAV, YOLOv8n, INT8 в ONNX Runtime як заміна апаратного квантувальника): перехід з FP32 на INT8 коштував 6,8 % загального AP, 14,4 % AP для малих об’єктів і 1,1 % для великих. На CPU Raspberry Pi 5 INT8-модель працювала 75,0 мс проти 153,6 мс.

Механізм. Один масштаб активацій на тензор задають його найбільші значення. У тепловій чи аерозйомці це викиди фону: відблиск сонця, гарячий дах, край хмари. Слабкий відгук крихітної цілі у картах ознак високої роздільності (рівні P2 і P3 піраміди ознак) тоді займає один-два кроки квантування, і округлення зливає його з фоном. Велика ціль займає багато кроків і виживає. Стаття ISPRS 2026 за припущення, що похибка усереднюється по пікселях об’єкта, доводить, що відношення сигналу до шуму квантування для об’єкта падає разом із кількістю його пікселів. Рисунок на цій сторінці — спрощена ілюстрація цього механізму, а не вимірювання.

Відомі виправлення

виправлення що робить де перевірено обмеження
Краще калібрування (перцентиль, KL) і масштаби на канал не дає одному викиду задати крок для всього тензора стандарт у TensorRT, ONNX Runtime, ncnn допомагає в масштабі COCO (Q-YOLO вище); не показано, що цього достатньо нижче 12 px
OSA-регуляризація, ISPRS Annals 2026 8-бітне QAT із втратою вирівнювання ознак на P2 / P3, зваженою на 1 / площу об’єкта YOLOX-Nano і Tiny, малі птахи та будівлі на аерознімках, FPGA Kria KV260 потребує навчання, а не калібрування; лише загальний AP, без розбиття за розміром
MLFQ, IET Image Processing 2026 (Wiley) PTQ з реконструкцією блоків і просторовою картою ваг за розмірами об’єктів VisDrone, UAVDT ми читали лише анотацію: виграш на 4 бітах і нижче, неоднозначно на 8; цифри не наводимо
LiDAR-PTQ, ICLR 2024 функція втрат PTQ, зважена на передній план 3D-детекція інша модальність
Змішана точність тримає голову детектора або піраміду ознак у вищій точності різні детектори не націлена на крихітні об’єкти на CPU
ScaleKD, CVPR 2023 дистиляція з урахуванням масштабу в малий детектор COCO, VisDrone про розмір моделі, не про квантування
CSCWD, 2026 дистилює YOLO11m з головою P2 у YOLO11n для anti-UAV, запускає на Pi 5 через ncnn Drone-vs-Bird; DUT Anti-UAV без донавчання лише FP16, без INT8 і без аналізу за розміром

Ще один важіль стоїть перед мережею. Тепловізори видають 14 або 16 бітів на піксель, і звичайне автоматичне регулювання підсилення стискає це до 8 бітів ще до детектора, а це окреме квантування. Адаптивне до задачі тонове відображення теплових зображень існує (Thermal Chameleon, RA-L 2024), як і адаптивне перемасштабування з 14 до 8 бітів (Fieldscale, RA-L 2024). Робіт, що вивчали б його разом з INT8-інференсом, ми не знайшли.

Що виміряли ми

Поки нічого. Заплановано вимірювання на Raspberry Pi 5, і його правила зафіксовано до запуску:

  • Дані: тепловий anti-UAV бенчмарк (Anti-UAV410 і CST Anti-UAV), трекінг однієї цілі, де ціль із діагоналлю рамки до 10 пікселів вважається «крихітною».
  • Що звітуємо: для кожного інтервалу розміру і контрасту цілі — recall при однаковій частоті хибних тривог, state accuracy (SA) бенчмарку, втрати захоплення на хвилину і час до першого виявлення; для кожного шару — відношення активації цілі до фону у FP32 і INT8; затримку для кожної конфігурації з карткою пристрою.
  • Гіпотеза: на 8 бітах recall для цілей до 10 пікселів падає щонайменше вдвічі сильніше за загальний AP, а на рівні треків це видно як більше втрат захоплення і пізніше перше виявлення.
  • Що її спростує: recall крихітних цілей падає не більше за загальний AP. Тоді ефект — артефакт масштабу COCO, а не властивість цієї задачі, і стаття так і скаже.

Результат, яким би він не був, з’явиться тут із цифрами.

Відкриті питання

  1. Тепловізор, 3–16 пікселів. Немає досліджень втрат від квантування на теплових anti-UAV даних для таких розмірів.
  2. Трекінг однієї цілі. Втрата захоплення, час повторного захоплення і час до першого виявлення під INT8 не виміряні; єдине дослідження на рівні треків — RGB і багато цілей.
  3. ARM-процесор. Попередні роботи запускали на GPU (TensorRT) і FPGA; шлях через ncnn на CPU, типовий для Raspberry Pi, не досліджено.
  4. Контраст, а не лише розмір. Результати розбивають за розміром; у теплових даних ціль у 6 пікселів може бути легкою або невидимою. Чи контраст кращий предиктор?
  5. Сира бітність. Як 14- чи 16-бітний вхід взаємодіє з INT8 першим шаром, який однаково квантує вхід?
  6. Рецепт на 8 бітах. Чи є дешевий спосіб повернути recall крихітних цілей на 8 бітах із затримкою, близькою до INT8? Опубліковані виправлення з урахуванням розміру або потребують навчання, або окупаються лише на 4 бітах і нижче.
  7. Які шари захищати. Жодна стаття не тримає саме ранні шари високої роздільності у FP16 для крихітних цілей на CPU, і немає правила, яке за розміром цілі та кроком шару казало б, які шари захищати.

Джерела