# Бібліотека

Добірка посилань для AI-інженерів: інтерактивні пояснення, плейграунди, дорожні карти, агенти, оцінювання, трекінг.

## Всередині LLM

Що відбувається всередині трансформера, від токенів до ймовірності наступного токена.

- [LLM Visualization](https://bbycroft.net/llm): Пролетіть крізь nano-GPT, GPT-2 і GPT-3 у 3D і простежте, як один токен проходить кожен шар і кожне множення матриць.
- [Transformer Explainer](https://poloclub.github.io/transformer-explainer/): Введіть промпт у живу GPT-2, що працює в браузері, і дивіться, як змінюються ембединги, голови уваги та розподіл на виході з урахуванням температури.
- [Attention in transformers, step by step (3Blue1Brown)](https://www.3blue1brown.com/lessons/attention/): Анімований урок, який показує запити, ключі й значення як геометрію, тож формула уваги перестає бути набором символів.
- [The Illustrated Transformer](https://jalammar.github.io/illustrated-transformer/): Розбір оригінального трансформера з енкодером і декодером діаграма за діаграмою, з формою кожного тензора.
- [The Tokenizer Playground](https://huggingface.co/spaces/Xenova/the-tokenizer-playground): Вставте текст і порівняйте, як його ділять токенізатори GPT, Llama та інших моделей, з кількістю токенів поруч.
- [The Annotated Transformer](https://nlp.seas.harvard.edu/annotated-transformer/): Стаття «Attention Is All You Need», рядок за рядком перемежована робочим кодом на PyTorch.
- [How To Scale Your Model](https://jax-ml.github.io/scaling-book/): Покрокова арифметика того, як трансформери лягають на прискорювачі: пам’ять, FLOPs і який паралелізм обрати в якому випадку.
- [On the Biology of a Large Language Model](https://transformer-circuits.pub/2025/attribution-graphs/biology.html): Графи атрибуції, що показують, які внутрішні ознаки робоча модель використовує для багатокрокових міркувань, планування рими й арифметики.

## Ембединги й пошук

Як текст стає векторами, як на ці вектори дивитися і як на них будується пошук.

- [Embedding Projector](https://projector.tensorflow.org/): Завантажте ембединги word2vec або MNIST і обертайте їх у PCA, t-SNE чи UMAP, щоб побачити, які точки стають сусідами.
- [Understanding UMAP](https://pair-code.github.io/understanding-umap/): Рухайте n_neighbors і min_dist на іграшкових наборах даних і 3D-мамонті, щоб побачити, що UMAP зберігає, а що спотворює.
- [Sentence Transformers documentation](https://www.sbert.net/): Документація бібліотеки для обчислення, донавчання й оцінювання текстових ембедингів і реранкерів, з прикладами семантичного пошуку.
- [MTEB Leaderboard](https://huggingface.co/spaces/mteb/leaderboard): Порівняйте моделі ембедингів за типом задачі, мовою, розміром і пам’яттю, перш ніж обрати одну для пошуку.
- [Contextual Retrieval](https://www.anthropic.com/engineering/contextual-retrieval): Виміряна частка невдалих пошуків для простого розбиття на фрагменти проти фрагментів із контекстом, гібридного пошуку з BM25 і реранкінгу.

## Агенти й інструменти

Патерни, протоколи й типові збої LLM-систем, які викликають інструменти й працюють у циклі.

- [Building Effective Agents](https://www.anthropic.com/engineering/building-effective-agents): Воркфлоу проти агентів, п’ять патернів, які можна комбінувати, і коли краще обійтися без фреймворків і тримати цикл простим.
- [LLM Powered Autonomous Agents](https://lilianweng.github.io/posts/2023-06-23-agent/): Структурований огляд планування, пам’яті й використання інструментів в LLM-агентах, зі статтями за кожною ідеєю.
- [Model Context Protocol specification](https://modelcontextprotocol.io/specification/2026-07-28): Чинна специфікація MCP: як клієнт і сервер домовляються про інструменти, ресурси, промпти, автентифікацію та транспорт.
- [Writing effective tools for agents](https://www.anthropic.com/engineering/writing-tools-for-agents): Як проєктувати, прототипувати й оцінювати описи інструментів, щоб модель правильно їх обирала й викликала.
- [Effective context engineering for AI agents](https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents): Що класти в обмежене вікно контексту під час довгої роботи: стискання, нотатки, субагенти й пошук саме тоді, коли він потрібен.
- [How we built our multi-agent research system](https://www.anthropic.com/engineering/multi-agent-research-system): Звіт із продакшену про оркестратор із паралельними субагентами: вартість у токенах, уроки промптингу і як систему оцінювали.
- [12-Factor Agents](https://github.com/humanlayer/12-factor-agents): Дванадцять інженерних принципів для LLM-софту, який має надійно працювати в продакшені: власні промпти, власний потік керування тощо.

## Евали й бенчмарки

Як виміряти, чи LLM-продукт справді працює, і що показують публічні бенчмарки.

- [Your AI Product Needs Evals](https://hamel.dev/blog/posts/evals/): Кейс побудови юніт-тестів, людського перегляду й LLM-as-judge для реального продукту, і чому саме цей цикл рухає кожне покращення.
- [AI Evals FAQ](https://hamel.dev/blog/posts/evals-faq/): Прямі відповіді на типові питання: спершу аналіз помилок, бінарні оцінки замість шкал, скільки потрібно прикладів, коли можна довіряти судді.
- [Evaluating the Effectiveness of LLM-Evaluators](https://eugeneyan.com/writing/llm-evaluators/): Огляд досліджень LLM-as-judge: які налаштування узгоджуються з людьми, відомі упередження і як виміряти самого суддю.
- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents): Як оцінювати багатокрокові запуски агентів: задачі, спроби, оцінювачі й транскрипти, і коли оцінювати кодом, моделлю чи людиною.
- [Inspect](https://inspect.aisi.org.uk/): Відкритий фреймворк Інституту безпеки ШІ Великої Британії для написання евалів із датасетами, солверами, скорерами, інструментами й пісочницями.
- [Berkeley Function Calling Leaderboard](https://gorilla.cs.berkeley.edu/leaderboard.html): Порівняння моделей у виклику інструментів за категоріями: одиночні, паралельні, багатоходові й агентні виклики.

## Інтуїція ML

Невеликі моделі в браузері, щоб відчути, як працюють навчання, згортка й генерація.

- [A Neural Network Playground](https://playground.tensorflow.org/): Натренуйте крихітну мережу в браузері й дивіться, як формується межа рішень, коли ви змінюєте шари, ознаки та регуляризацію.
- [CNN Explainer](https://poloclub.github.io/cnn-explainer/): Клацніть будь-який нейрон невеликого класифікатора зображень, щоб побачити ядро, скалярні добутки й карту активацій, яку він дає.
- [Diffusion Explainer](https://poloclub.github.io/diffusion-explainer/): Пройдіть шлях Stable Diffusion від промпту до зображення і подивіться, як guidance scale і seed змінюють кожен крок знешумлення.
- [MLU-Explain](https://mlu-explain.github.io/): Візуальні есеї від Amazon про precision і recall, ROC-криві, крос-валідацію, компроміс зміщення й дисперсії та подвійний спуск.
- [Why Momentum Really Works](https://distill.pub/2017/momentum/): Рухайте повзунки кроку й моментуму і дивіться, як градієнтний спуск на квадратичній функції збігається, коливається чи розбігається.
- [Understanding Deep Learning](https://udlbook.github.io/udlbook/): Безкоштовний підручник Саймона Прінса з глибокого навчання: 68 ноутбуків, де треба дописати код, і набір інтерактивних рисунків.

## Інтерактивні пояснення

Есеї з живими рисунками, де експеримент запускає сам читач.

- [Bartosz Ciechanowski](https://ciechanow.ski/): Довгі есеї про GPS, камери, механічні годинники й крило літака, де кожен рисунок є 3D-моделлю, яку можна крутити.
- [AI Explorables (Google PAIR)](https://pair.withgoogle.com/explorables/): Короткі інтерактивні матеріали про запам’ятовування проти узагальнення, калібрування, розріджені автоенкодери й метрики справедливості.
- [Seeing Theory](https://seeing-theory.brown.edu/): Імовірність і статистика через симуляцію: кидайте кубики, беріть вибірки й дивіться, як працюють закон великих чисел і правило Баєса.
- [Explained Visually](https://setosa.io/ev/): Інтерактивні пояснення PCA, власних векторів, ланцюгів Маркова, умовної ймовірності та ядер зображень.
- [Distill](https://distill.pub/): Архів журналу з машинного навчання, де статті були інтерактивними есеями про візуалізацію ознак, увагу й оптимізацію.

## Комп’ютерний зір

Основи зору й детекції, а також інструменти, якими користуються на практиці.

- [Hugging Face Community Computer Vision Course](https://huggingface.co/learn/computer-vision-course/unit0/welcome/welcome): Безкоштовний курс від основ CNN до візуальних трансформерів, детекції, сегментації та мультимодальних моделей.
- [CS231n: Deep Learning for Computer Vision](https://cs231n.github.io/): Нотатки Стенфорда про класифікацію зображень, зворотне поширення помилки, CNN і практику навчання, які можна читати без лекцій.
- [Computer Vision: Algorithms and Applications](https://szeliski.org/Book/): Безкоштовне друге видання підручника: формування зображення, ознаки, оцінка руху, стерео й розпізнавання.
- [Ultralytics YOLO tracking mode](https://docs.ultralytics.com/modes/track): Як запустити BoT-SORT або ByteTrack поверх детектора YOLO, з поясненням параметрів конфігурації трекера.
- [supervision](https://github.com/roboflow/supervision): Python-бібліотека з готовими частинами для пайплайнів детекції: анотатори рамок і масок, підрахунок у зонах, ByteTrack і конвертація датасетів.

## Трекінг і оцінювання стану

Фільтри Калмана, трекінг багатьох цілей і те, як оцінюють трекери.

- [Kalman Filter Explained Through Examples](https://kalmanfilter.net/): Числові приклади, від зважування золотого злитка до стеження за автомобілем, які виводять кожне рівняння фільтра Калмана, перш ніж його записати.
- [How a Kalman filter works, in pictures](https://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/): Перемножені гаусові розподіли на рисунках показують, чому з кроків передбачення й оновлення виходять рівняння Калмана.
- [Kalman and Bayesian Filters in Python](https://github.com/rlabbe/Kalman-and-Bayesian-Filters-in-Python): Безкоштовна книга з ноутбуків, що будує g-h-фільтр, фільтр Калмана, EKF, UKF і фільтри частинок від інтуїції, із симуляціями, які можна запустити.
- [Stone Soup tutorials](https://stonesoup.readthedocs.io/en/latest/auto_tutorials/index.html): Туторіали відкритого фреймворку для трекінгу: фільтри Калмана й частинок, асоціація даних, JPDA, GM-PHD і метрики треків, із графіками.
- [TrackEval](https://github.com/JonathonLuiten/TrackEval): Еталонна реалізація HOTA, CLEAR MOT і метрик ідентичності, якими користуються основні бенчмарки трекінгу.
- [HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking](https://arxiv.org/abs/2009.07736): Чому MOTA переважує детекцію, а IDF1 асоціацію, і як HOTA розкладає оцінку на ці дві частини.
- [MOTChallenge MOT17 (archive)](https://motchallenge.net/results/MOT17/): Архівна таблиця лідерів MOT17: 219 методів, результати для кожної послідовності та CSV з усіма метриками.
- [ByteTrack](https://github.com/FoundationVision/ByteTrack): Код трекера, який асоціює також детекції з низькою впевненістю і так повертає перекриті об’єкти, які відкинув би поріг за оцінкою.

## Дорожні карти й курси

Структуровані шляхи, від першої карти галузі до побудови моделі з нуля.

- [AI Engineer Roadmap](https://roadmap.sh/ai-engineer): Клікабельна карта того, що має знати AI-інженер, від API моделей і ембедингів до RAG та агентів.
- [AI Agents Roadmap](https://roadmap.sh/ai-agents): Клікабельна карта тем про агентів: цикл агента, інструменти, пам’ять, протоколи, оцінювання й безпека.
- [Neural Networks: Zero to Hero](https://karpathy.ai/zero-to-hero.html): Карпаті з порожнього файлу будує backprop, символьну модель, токенізатор і GPT, на відео й у коді.
- [Build a Large Language Model (From Scratch)](https://github.com/rasbt/LLMs-from-scratch): Ноутбуки, що реалізують модель у стилі GPT на PyTorch, а потім попередньо навчають її, донавчають для класифікації та на інструкціях.
- [Stanford CS336: Language Modeling from Scratch](https://cs336.stanford.edu/): Лекції й завдання, де ви самі будуєте токенізатор, трансформер, навчання, закони масштабування, дані та вирівнювання.

## Кого варто читати

Люди, які публікують ретельні нотатки з перших рук про роботу з ML і LLM.

- [Simon Willison's Weblog](https://simonwillison.net/): Щоденні практичні нотатки про нові моделі, prompt injection, інструменти й те, що автор справді з ними зробив.
- [Lil'Log](https://lilianweng.github.io/): Довгі огляди літератури про агентів, галюцинації, дифузію, RL і промптинг, кожен із повним списком джерел.
- [Chip Huyen](https://huyenchip.com/blog/): Есеї про ML-системи в продакшені, AI-інженерію та LLM-застосунки від авторки книги «AI Engineering».
- [Eugene Yan](https://eugeneyan.com/): Прикладні нотатки з досвіду в індустрії про рекомендаційні системи, евали, патерни LLM і роботу ML-команд.
- [What We Learned From A Year of Building with LLMs](https://applied-llms.org/): Тактичні, операційні й стратегічні уроки шести практиків, які випустили LLM-продукти.
