# Чи шкодить INT8-квантування детекції малих об'єктів? Втрати, яких не видно в mAP

Розгортання на edge | Дослідження | Опубліковано 2026-10-01

Квантування детектора до INT8 коштує малим об'єктам у 1,4–3 рази більше, ніж загальній метриці, а нижче 12 пікселів опубліковані втрати сягають третини точності; що відомо, які є виправлення і чого ще ніхто не виміряв.

Поняття: quantization, int8, post-training-quantization, small-object-detection, edge-inference, thermal-imaging, anti-uav, evaluation

## Проблема

Щоб запустити детектор на маленькому комп'ютері поруч із камерою, його стискають: ваги й активації переводять із 32-бітних чисел з рухомою комою у 8-бітні цілі (INT8), і в одному вимірюванні спільноти малий детектор на CPU Raspberry Pi 5 став приблизно вдвічі швидшим. Зазвичай перевіряють загальну точність (mAP) до і після, і вона здебільшого змінюється на пункт-два. Але загальне число усереднює всі об'єкти тестового набору, а більшість із них великі. Коли ваша ціль завширшки кілька пікселів (дрон за кілометр у тепловізорі, птах, людина на аерознімку), те саме стиснення може коштувати їй значно більше, і загальна метрика цього не покаже. Ця стаття збирає опубліковане про цей ефект, наявні виправлення і те, що досі не виміряно.

## Звичайний підхід

- Навчити модель у FP32, потім застосувати **пост-тренувальне квантування (PTQ)**: прогнати кілька сотень калібрувальних зображень, записати діапазон кожного тензора активацій і відобразити цей діапазон на 256 цілих рівнів.
- Один **масштаб на тензор** для активацій (на канал для ваг), обраний за максимумом, перцентилем або KL-дивергенцією між гістограмами до і після квантування.
- Прийняти модель, якщо загальний mAP упав менш ніж приблизно на пункт; якщо більше, перейти на **навчання з урахуванням квантування (QAT)**.
- Звітувати точність середніми у стилі COCO. «Малі» об'єкти в COCO — це все, що менше 32 x 32 пікселі, тобто багато більше за ціль у 4 пікселі.

## Де він ламається, з цифрами

**Малі об'єкти стабільно втрачають більше.** Відносне падіння, пораховане з таблиць самих статей (AP — загальна метрика, AP_S — для малих об'єктів, AP_L — для великих):

| стаття | налаштування | AP | AP_S | AP_L |
|---|---|---|---|---|
| [FQN, CVPR 2019](https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Fully_Quantized_Network_for_Object_Detection_CVPR_2019_paper.pdf) | RetinaNet-R50, 4 біти, QAT | -8.7 % | -14.8 % | -8.4 % |
| FQN, CVPR 2019 | Faster R-CNN-R50, 4 біти | -12.2 % | -17.3 % | -10.8 % |
| [AQD, CVPR 2021](https://arxiv.org/abs/2007.06919) | FCOS-R50, 4 біти | -2.3 % | -7.2 % | -2.2 % |
| [Q-DETR, CVPR 2023](https://arxiv.org/abs/2304.00253) | DETR-R50, 4 біти (увага 8 бітів) | -6.2 % | -13.7 % | -2.0 % |
| Q-DETR, базова лінія з її таблиць | SMCA-DETR, **8 бітів, PTQ**, калібрування за перцентилем | -8.5 % | -19.6 % | -5.4 % |
| [Q-YOLO](https://arxiv.org/abs/2307.04816) | YOLOv5s / v7, 8 бітів для ваг і активацій, метод Q-YOLO | від 0 до -0.2 % | від -0.3 до -0.9 % | -0.2 % |

Закономірність: за помірних втрат малі об'єкти втрачають у 1,4–3 рази більше, ніж загальне число, і в 1,6–7 разів більше, ніж великі; у рядках зі згортковими мережами загальне число тримається близько до числа для великих, бо великих об'єктів більшість. Останній рядок теж важливий: для згорткової YOLO ретельний 8-бітний метод коштує малим об'єктам COCO менше одного відсотка. Детектори-трансформери втрачають більше: найкращий 8-бітний метод у таблицях Q-DETR (VT-PTQ) усе одно коштує малим об'єктам 7,3 %. У масштабі COCO і з добрим рецептом INT8 для згорткової мережі майже безпечний.

**Нижче 16 пікселів картина інша.** Два вимірювання, жодне не рецензоване, вказують в один бік:

- Бакалаврська робота в Лейдені (LIACS, 2026, [PDF](https://theses.liacs.nl/pdf/2025-2026-JohannsenLLenard.pdf)) квантувала YOLOv11n до INT8 через PTQ в ONNX Runtime (калібрування за мінімумом і максимумом) на XS-VID, наборі із середнім об'єктом 10,6 пікселя, з трекером ByteTrack поверх. Загальний AP упав на 10,5 %, але **на 35 % для об'єктів 0–12 пікселів**, на 22 % для 12–20 і на 15 % для 20–32. На рівні треків MOTA змінилася з 0,247 до 0,235, IDF1 — з 0,404 до 0,376. QAT у цій роботі вийшло гіршим за PTQ, а запропоноване виправлення не спрацювало, тож це радше ознака, ніж доказ. Інших даних на рівні треків для набору із середнім об'єктом близько 11 пікселів ми не знайшли (метрики треків — для всього набору, не за розміром).
- Вимірювання спільноти ([hailo-uav-tracker](https://github.com/pierrosimonestd-cpu/hailo-uav-tracker), DUT Anti-UAV, YOLOv8n, INT8 в ONNX Runtime як заміна апаратного квантувальника): перехід з FP32 на INT8 коштував 6,8 % загального AP, 14,4 % AP для малих об'єктів і 1,1 % для великих. На CPU Raspberry Pi 5 INT8-модель працювала 75,0 мс проти 153,6 мс.

**Механізм.** Один масштаб активацій на тензор задають його найбільші значення. У тепловій чи аерозйомці це викиди фону: відблиск сонця, гарячий дах, край хмари. Слабкий відгук крихітної цілі у картах ознак високої роздільності (рівні P2 і P3 піраміди ознак) тоді займає один-два кроки квантування, і округлення зливає його з фоном. Велика ціль займає багато кроків і виживає. [Стаття ISPRS 2026](https://www.bgd.ed.tum.de/pdf/2026_full_ISPRSCongress_QATDet.pdf) за припущення, що похибка усереднюється по пікселях об'єкта, доводить, що відношення сигналу до шуму квантування для об'єкта падає разом із кількістю його пікселів. Рисунок на цій сторінці — спрощена ілюстрація цього механізму, а не вимірювання.

## Відомі виправлення

| виправлення | що робить | де перевірено | обмеження |
|---|---|---|---|
| Краще калібрування (перцентиль, KL) і масштаби на канал | не дає одному викиду задати крок для всього тензора | стандарт у TensorRT, ONNX Runtime, ncnn | допомагає в масштабі COCO (Q-YOLO вище); не показано, що цього достатньо нижче 12 px |
| [OSA-регуляризація, ISPRS Annals 2026](https://www.bgd.ed.tum.de/pdf/2026_full_ISPRSCongress_QATDet.pdf) | 8-бітне QAT із втратою вирівнювання ознак на P2 / P3, зваженою на 1 / площу об'єкта | YOLOX-Nano і Tiny, малі птахи та будівлі на аерознімках, FPGA Kria KV260 | потребує навчання, а не калібрування; лише загальний AP, без розбиття за розміром |
| MLFQ, IET Image Processing 2026 ([Wiley](https://ietresearch.onlinelibrary.wiley.com/doi/10.1049/ipr2.70476)) | PTQ з реконструкцією блоків і просторовою картою ваг за розмірами об'єктів | VisDrone, UAVDT | ми читали лише анотацію: виграш на 4 бітах і нижче, неоднозначно на 8; цифри не наводимо |
| [LiDAR-PTQ, ICLR 2024](https://arxiv.org/abs/2401.15865) | функція втрат PTQ, зважена на передній план | 3D-детекція | інша модальність |
| Змішана точність | тримає голову детектора або піраміду ознак у вищій точності | різні детектори | не націлена на крихітні об'єкти на CPU |
| [ScaleKD, CVPR 2023](https://openaccess.thecvf.com/content/CVPR2023/papers/Zhu_ScaleKD_Distilling_Scale-Aware_Knowledge_in_Small_Object_Detector_CVPR_2023_paper.pdf) | дистиляція з урахуванням масштабу в малий детектор | COCO, VisDrone | про розмір моделі, не про квантування |
| [CSCWD, 2026](https://arxiv.org/abs/2609.30395) | дистилює YOLO11m з головою P2 у YOLO11n для anti-UAV, запускає на Pi 5 через ncnn | Drone-vs-Bird; DUT Anti-UAV без донавчання | лише FP16, без INT8 і без аналізу за розміром |

Ще один важіль стоїть перед мережею. Тепловізори видають 14 або 16 бітів на піксель, і звичайне автоматичне регулювання підсилення стискає це до 8 бітів ще до детектора, а це окреме квантування. Адаптивне до задачі тонове відображення теплових зображень існує ([Thermal Chameleon, RA-L 2024](https://arxiv.org/abs/2410.18340)), як і адаптивне перемасштабування з 14 до 8 бітів ([Fieldscale, RA-L 2024](https://arxiv.org/abs/2405.15395)). Робіт, що вивчали б його разом з INT8-інференсом, ми не знайшли.

## Що виміряли ми

Поки нічого. Заплановано вимірювання на Raspberry Pi 5, і його правила зафіксовано до запуску:

- **Дані**: тепловий anti-UAV бенчмарк (Anti-UAV410 і CST Anti-UAV), трекінг однієї цілі, де ціль із діагоналлю рамки до 10 пікселів вважається «крихітною».
- **Що звітуємо**: для кожного інтервалу розміру і контрасту цілі — recall при однаковій частоті хибних тривог, state accuracy (SA) бенчмарку, втрати захоплення на хвилину і час до першого виявлення; для кожного шару — відношення активації цілі до фону у FP32 і INT8; затримку для кожної конфігурації з карткою пристрою.
- **Гіпотеза**: на 8 бітах recall для цілей до 10 пікселів падає щонайменше вдвічі сильніше за загальний AP, а на рівні треків це видно як більше втрат захоплення і пізніше перше виявлення.
- **Що її спростує**: recall крихітних цілей падає не більше за загальний AP. Тоді ефект — артефакт масштабу COCO, а не властивість цієї задачі, і стаття так і скаже.

Результат, яким би він не був, з'явиться тут із цифрами.

## Відкриті питання

1. **Тепловізор, 3–16 пікселів.** Немає досліджень втрат від квантування на теплових anti-UAV даних для таких розмірів.
2. **Трекінг однієї цілі.** Втрата захоплення, час повторного захоплення і час до першого виявлення під INT8 не виміряні; єдине дослідження на рівні треків — RGB і багато цілей.
3. **ARM-процесор.** Попередні роботи запускали на GPU (TensorRT) і FPGA; шлях через ncnn на CPU, типовий для Raspberry Pi, не досліджено.
4. **Контраст, а не лише розмір.** Результати розбивають за розміром; у теплових даних ціль у 6 пікселів може бути легкою або невидимою. Чи контраст кращий предиктор?
5. **Сира бітність.** Як 14- чи 16-бітний вхід взаємодіє з INT8 першим шаром, який однаково квантує вхід?
6. **Рецепт на 8 бітах.** Чи є дешевий спосіб повернути recall крихітних цілей на 8 бітах із затримкою, близькою до INT8? Опубліковані виправлення з урахуванням розміру або потребують навчання, або окупаються лише на 4 бітах і нижче.
7. **Які шари захищати.** Жодна стаття не тримає саме ранні шари високої роздільності у FP16 для крихітних цілей на CPU, і немає правила, яке за розміром цілі та кроком шару казало б, які шари захищати.

## Джерела

- Li et al., [Fully Quantized Network for Object Detection](https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Fully_Quantized_Network_for_Object_Detection_CVPR_2019_paper.pdf), CVPR 2019.
- Chen et al., [AQD: Towards Accurate Quantized Object Detection](https://arxiv.org/abs/2007.06919), CVPR 2021.
- Xu et al., [Q-DETR: An Efficient Low-Bit Quantized Detection Transformer](https://arxiv.org/abs/2304.00253), CVPR 2023.
- Wang et al., [Q-YOLO: Efficient Inference for Real-time Object Detection](https://arxiv.org/abs/2307.04816), 2023.
- L. Johannsen, [Efficient small-object video detection via quantization-aware training](https://theses.liacs.nl/pdf/2025-2026-JohannsenLLenard.pdf), бакалаврська робота, LIACS, Лейденський університет, 2026.
- [hailo-uav-tracker](https://github.com/pierrosimonestd-cpu/hailo-uav-tracker), вимірювання спільноти (точність в ONNX Runtime, затримка на Raspberry Pi 5).
- Luo et al., [Quantization-Aware Training for Efficient Object Detection on FPGAs: Case Studies](https://www.bgd.ed.tum.de/pdf/2026_full_ISPRSCongress_QATDet.pdf), ISPRS Annals 2026.
- Dong et al., [Mask-Guided Local Feature Quantization for Small Object Detection (MLFQ)](https://ietresearch.onlinelibrary.wiley.com/doi/10.1049/ipr2.70476), IET Image Processing 2026 (лише анотація).
- Zhou et al., [LiDAR-PTQ](https://arxiv.org/abs/2401.15865), ICLR 2024.
- Zhu et al., [ScaleKD](https://openaccess.thecvf.com/content/CVPR2023/papers/Zhu_ScaleKD_Distilling_Scale-Aware_Knowledge_in_Small_Object_Detector_CVPR_2023_paper.pdf), CVPR 2023.
- Zamani et al., [CSCWD: Cross-Scale Channel-wise Knowledge Distillation for Lightweight Tiny Object Detection on Edge Devices](https://arxiv.org/abs/2609.30395), 2026.
- Lee et al., [Thermal Chameleon](https://arxiv.org/abs/2410.18340), RA-L 2024; Gil et al., [Fieldscale](https://arxiv.org/abs/2405.15395), RA-L 2024.

