База знань / int8-tiny-targets
Чи шкодить INT8-квантування детекції малих об'єктів? Втрати, яких не видно в mAP
Квантування детектора до INT8 коштує малим об'єктам у 1,4–3 рази більше, ніж загальній метриці, а нижче 12 пікселів опубліковані втрати сягають третини точності; що відомо, які є виправлення і чого ще ніхто не виміряв.
Один крок квантування може поглинути малу ціль
Один переріз карти активацій. Зменште контраст малої цілі: нижче приблизно половини кроку вона округлюється у фон, і крива INT8 стає пласкою. Збільште викид: він задає масштаб, тож кожен крок грубішає. Перемкніть масштаб на перцентиль, щоб обрізати викид і повернути дрібні кроки. Повнота по всіх цілях майже не змінюється, бо малих цілей лише 5 із 100.
Крок INT8: 1,000 (масштаб = 127,0 / 127)
Мала ціль після INT8: втрачена. У FP32: виявлена.
| FP32 | INT8 | |
|---|---|---|
| Усі 100 | 100% (100/100) | 95% (95/100) |
| Малі 5 | 100% (5/5) | 0% (0/5) |
Спрощена ілюстрація механізму, а не вимірювання: один переріз, вигадана вибірка і найпростіше правило виявлення. Активації подано в одиницях, де 1 дорівнює одному кроку INT8 за типового викиду (127).
Правило виявлення, однакове для FP32 і INT8: ціль вважається виявленою, коли її пік піднімається більш ніж на 0,1 над локальним фоном (медіаною 6 позицій з кожного боку). Після INT8 цей підйом дорівнює нулю або цілому числу кроків, тож ціль виживає, лише якщо її пік округлюється вгору щонайменше на один крок; на фоні, що округлюється до нуля, це означає висоту понад пів кроку.
Вибірка: 95 великих цілей (піки від 1,5 до 18) і 5 малих (піки від 0,8 до 1,2 значення повзунка), кожна на власному тьмяному фоні, усі з одного фіксованого зерна генератора. Один масштаб, відкалібрований на всіх разом, застосовується до кожної цілі, як у статичному квантуванні після навчання.
Проблема
Щоб запустити детектор на маленькому комп’ютері поруч із камерою, його стискають: ваги й активації переводять із 32-бітних чисел з рухомою комою у 8-бітні цілі (INT8), і в одному вимірюванні спільноти малий детектор на CPU Raspberry Pi 5 став приблизно вдвічі швидшим. Зазвичай перевіряють загальну точність (mAP) до і після, і вона здебільшого змінюється на пункт-два. Але загальне число усереднює всі об’єкти тестового набору, а більшість із них великі. Коли ваша ціль завширшки кілька пікселів (дрон за кілометр у тепловізорі, птах, людина на аерознімку), те саме стиснення може коштувати їй значно більше, і загальна метрика цього не покаже. Ця стаття збирає опубліковане про цей ефект, наявні виправлення і те, що досі не виміряно.
Звичайний підхід
- Навчити модель у FP32, потім застосувати пост-тренувальне квантування (PTQ): прогнати кілька сотень калібрувальних зображень, записати діапазон кожного тензора активацій і відобразити цей діапазон на 256 цілих рівнів.
- Один масштаб на тензор для активацій (на канал для ваг), обраний за максимумом, перцентилем або KL-дивергенцією між гістограмами до і після квантування.
- Прийняти модель, якщо загальний mAP упав менш ніж приблизно на пункт; якщо більше, перейти на навчання з урахуванням квантування (QAT).
- Звітувати точність середніми у стилі COCO. «Малі» об’єкти в COCO — це все, що менше 32 x 32 пікселі, тобто багато більше за ціль у 4 пікселі.
Де він ламається, з цифрами
Малі об’єкти стабільно втрачають більше. Відносне падіння, пораховане з таблиць самих статей (AP — загальна метрика, AP_S — для малих об’єктів, AP_L — для великих):
| стаття | налаштування | AP | AP_S | AP_L |
|---|---|---|---|---|
| FQN, CVPR 2019 | RetinaNet-R50, 4 біти, QAT | -8.7 % | -14.8 % | -8.4 % |
| FQN, CVPR 2019 | Faster R-CNN-R50, 4 біти | -12.2 % | -17.3 % | -10.8 % |
| AQD, CVPR 2021 | FCOS-R50, 4 біти | -2.3 % | -7.2 % | -2.2 % |
| Q-DETR, CVPR 2023 | DETR-R50, 4 біти (увага 8 бітів) | -6.2 % | -13.7 % | -2.0 % |
| Q-DETR, базова лінія з її таблиць | SMCA-DETR, 8 бітів, PTQ, калібрування за перцентилем | -8.5 % | -19.6 % | -5.4 % |
| Q-YOLO | YOLOv5s / v7, 8 бітів для ваг і активацій, метод Q-YOLO | від 0 до -0.2 % | від -0.3 до -0.9 % | -0.2 % |
Закономірність: за помірних втрат малі об’єкти втрачають у 1,4–3 рази більше, ніж загальне число, і в 1,6–7 разів більше, ніж великі; у рядках зі згортковими мережами загальне число тримається близько до числа для великих, бо великих об’єктів більшість. Останній рядок теж важливий: для згорткової YOLO ретельний 8-бітний метод коштує малим об’єктам COCO менше одного відсотка. Детектори-трансформери втрачають більше: найкращий 8-бітний метод у таблицях Q-DETR (VT-PTQ) усе одно коштує малим об’єктам 7,3 %. У масштабі COCO і з добрим рецептом INT8 для згорткової мережі майже безпечний.
Нижче 16 пікселів картина інша. Два вимірювання, жодне не рецензоване, вказують в один бік:
- Бакалаврська робота в Лейдені (LIACS, 2026, PDF) квантувала YOLOv11n до INT8 через PTQ в ONNX Runtime (калібрування за мінімумом і максимумом) на XS-VID, наборі із середнім об’єктом 10,6 пікселя, з трекером ByteTrack поверх. Загальний AP упав на 10,5 %, але на 35 % для об’єктів 0–12 пікселів, на 22 % для 12–20 і на 15 % для 20–32. На рівні треків MOTA змінилася з 0,247 до 0,235, IDF1 — з 0,404 до 0,376. QAT у цій роботі вийшло гіршим за PTQ, а запропоноване виправлення не спрацювало, тож це радше ознака, ніж доказ. Інших даних на рівні треків для набору із середнім об’єктом близько 11 пікселів ми не знайшли (метрики треків — для всього набору, не за розміром).
- Вимірювання спільноти (hailo-uav-tracker, DUT Anti-UAV, YOLOv8n, INT8 в ONNX Runtime як заміна апаратного квантувальника): перехід з FP32 на INT8 коштував 6,8 % загального AP, 14,4 % AP для малих об’єктів і 1,1 % для великих. На CPU Raspberry Pi 5 INT8-модель працювала 75,0 мс проти 153,6 мс.
Механізм. Один масштаб активацій на тензор задають його найбільші значення. У тепловій чи аерозйомці це викиди фону: відблиск сонця, гарячий дах, край хмари. Слабкий відгук крихітної цілі у картах ознак високої роздільності (рівні P2 і P3 піраміди ознак) тоді займає один-два кроки квантування, і округлення зливає його з фоном. Велика ціль займає багато кроків і виживає. Стаття ISPRS 2026 за припущення, що похибка усереднюється по пікселях об’єкта, доводить, що відношення сигналу до шуму квантування для об’єкта падає разом із кількістю його пікселів. Рисунок на цій сторінці — спрощена ілюстрація цього механізму, а не вимірювання.
Відомі виправлення
| виправлення | що робить | де перевірено | обмеження |
|---|---|---|---|
| Краще калібрування (перцентиль, KL) і масштаби на канал | не дає одному викиду задати крок для всього тензора | стандарт у TensorRT, ONNX Runtime, ncnn | допомагає в масштабі COCO (Q-YOLO вище); не показано, що цього достатньо нижче 12 px |
| OSA-регуляризація, ISPRS Annals 2026 | 8-бітне QAT із втратою вирівнювання ознак на P2 / P3, зваженою на 1 / площу об’єкта | YOLOX-Nano і Tiny, малі птахи та будівлі на аерознімках, FPGA Kria KV260 | потребує навчання, а не калібрування; лише загальний AP, без розбиття за розміром |
| MLFQ, IET Image Processing 2026 (Wiley) | PTQ з реконструкцією блоків і просторовою картою ваг за розмірами об’єктів | VisDrone, UAVDT | ми читали лише анотацію: виграш на 4 бітах і нижче, неоднозначно на 8; цифри не наводимо |
| LiDAR-PTQ, ICLR 2024 | функція втрат PTQ, зважена на передній план | 3D-детекція | інша модальність |
| Змішана точність | тримає голову детектора або піраміду ознак у вищій точності | різні детектори | не націлена на крихітні об’єкти на CPU |
| ScaleKD, CVPR 2023 | дистиляція з урахуванням масштабу в малий детектор | COCO, VisDrone | про розмір моделі, не про квантування |
| CSCWD, 2026 | дистилює YOLO11m з головою P2 у YOLO11n для anti-UAV, запускає на Pi 5 через ncnn | Drone-vs-Bird; DUT Anti-UAV без донавчання | лише FP16, без INT8 і без аналізу за розміром |
Ще один важіль стоїть перед мережею. Тепловізори видають 14 або 16 бітів на піксель, і звичайне автоматичне регулювання підсилення стискає це до 8 бітів ще до детектора, а це окреме квантування. Адаптивне до задачі тонове відображення теплових зображень існує (Thermal Chameleon, RA-L 2024), як і адаптивне перемасштабування з 14 до 8 бітів (Fieldscale, RA-L 2024). Робіт, що вивчали б його разом з INT8-інференсом, ми не знайшли.
Що виміряли ми
Поки нічого. Заплановано вимірювання на Raspberry Pi 5, і його правила зафіксовано до запуску:
- Дані: тепловий anti-UAV бенчмарк (Anti-UAV410 і CST Anti-UAV), трекінг однієї цілі, де ціль із діагоналлю рамки до 10 пікселів вважається «крихітною».
- Що звітуємо: для кожного інтервалу розміру і контрасту цілі — recall при однаковій частоті хибних тривог, state accuracy (SA) бенчмарку, втрати захоплення на хвилину і час до першого виявлення; для кожного шару — відношення активації цілі до фону у FP32 і INT8; затримку для кожної конфігурації з карткою пристрою.
- Гіпотеза: на 8 бітах recall для цілей до 10 пікселів падає щонайменше вдвічі сильніше за загальний AP, а на рівні треків це видно як більше втрат захоплення і пізніше перше виявлення.
- Що її спростує: recall крихітних цілей падає не більше за загальний AP. Тоді ефект — артефакт масштабу COCO, а не властивість цієї задачі, і стаття так і скаже.
Результат, яким би він не був, з’явиться тут із цифрами.
Відкриті питання
- Тепловізор, 3–16 пікселів. Немає досліджень втрат від квантування на теплових anti-UAV даних для таких розмірів.
- Трекінг однієї цілі. Втрата захоплення, час повторного захоплення і час до першого виявлення під INT8 не виміряні; єдине дослідження на рівні треків — RGB і багато цілей.
- ARM-процесор. Попередні роботи запускали на GPU (TensorRT) і FPGA; шлях через ncnn на CPU, типовий для Raspberry Pi, не досліджено.
- Контраст, а не лише розмір. Результати розбивають за розміром; у теплових даних ціль у 6 пікселів може бути легкою або невидимою. Чи контраст кращий предиктор?
- Сира бітність. Як 14- чи 16-бітний вхід взаємодіє з INT8 першим шаром, який однаково квантує вхід?
- Рецепт на 8 бітах. Чи є дешевий спосіб повернути recall крихітних цілей на 8 бітах із затримкою, близькою до INT8? Опубліковані виправлення з урахуванням розміру або потребують навчання, або окупаються лише на 4 бітах і нижче.
- Які шари захищати. Жодна стаття не тримає саме ранні шари високої роздільності у FP16 для крихітних цілей на CPU, і немає правила, яке за розміром цілі та кроком шару казало б, які шари захищати.
Джерела
- Li et al., Fully Quantized Network for Object Detection, CVPR 2019.
- Chen et al., AQD: Towards Accurate Quantized Object Detection, CVPR 2021.
- Xu et al., Q-DETR: An Efficient Low-Bit Quantized Detection Transformer, CVPR 2023.
- Wang et al., Q-YOLO: Efficient Inference for Real-time Object Detection, 2023.
- L. Johannsen, Efficient small-object video detection via quantization-aware training, бакалаврська робота, LIACS, Лейденський університет, 2026.
- hailo-uav-tracker, вимірювання спільноти (точність в ONNX Runtime, затримка на Raspberry Pi 5).
- Luo et al., Quantization-Aware Training for Efficient Object Detection on FPGAs: Case Studies, ISPRS Annals 2026.
- Dong et al., Mask-Guided Local Feature Quantization for Small Object Detection (MLFQ), IET Image Processing 2026 (лише анотація).
- Zhou et al., LiDAR-PTQ, ICLR 2024.
- Zhu et al., ScaleKD, CVPR 2023.
- Zamani et al., CSCWD: Cross-Scale Channel-wise Knowledge Distillation for Lightweight Tiny Object Detection on Edge Devices, 2026.
- Lee et al., Thermal Chameleon, RA-L 2024; Gil et al., Fieldscale, RA-L 2024.