Більшість людей досі ставляться до локального ШІ як до розкоші.
Вони купують NVIDIA DGX Spark за $3,000 або складають Mac Mini за $800 в стопку, вважаючи, що автономний інтелект потребує масивного централізованого обладнання.
Але інженери, які насправді розгортають фізичний ШІ в масштабі, будують щось набагато дешевше: розподілений рій.
- Один чіп за $8 слухає кімнату.
- Інший чіп за $8 обробляє намір локально.
- Детермінований скрипт видаляє фоновий шум.
- Третій чіп виконує Bluetooth-команду.
- Вся мережа працює від потужності одного світлодіода.
Це і є фізична архітектура рою.
Перш ніж читати далі:
Додай цей гайд у закладки, щоб повернутися до інструкцій зі збірки в кінці, коли прибудуть твої компоненти. І підпишись на
@ardchain — я розбираю автономних агентів, локальні ШІ-пайплайни та системи, які перетворюють як код, так і дешеве обладнання на масштабовані автоматизовані бізнеси.
Примітка: я включив повну покрокову інструкцію з апаратного забезпечення та прошивки в самому кінці цього поста. Але перш ніж почати замовляти деталі, тобі потрібно зрозуміти, як насправді працює архітектура.
Я витратив тижні, аналізуючи репозиторій slvDev/esp32-ai на GitHub та патерни промислового IoT, щоб перебудувати локальний інтелект в один практичний посібник.
Замість купівлі масивного централізованого мозку ти розподіляєш інтелект у середовище:
Слухай → Аналізуй → Маршрутизуй → Виконуй
Кожен мікроконтролер стає вузлом з обмеженим завданням. Кожен чіп несе специфічну модель. Офлайн-інференція вирішує, яка дія запускається. Важливий зсув полягає в тому, що твій розумний дім більше не повинен маршрутизувати кожну голосову команду через дорогий API чи гучну робочу станцію.
Він може запускати LLM з 28,9 мільйонами параметрів повністю офлайн, на чіпі ESP32-S3 за $8, не споживаючи хмарного трафіку.
Базові патерни не нові. Інженери-апаратники використовували мікроконтролери, шини I2S та BLE-мережі десятиліттями. Що змінилося — це те, що тепер знаходиться всередині кожного вузла. Вузол може обробляти природну мову, аналізувати нечітку голосову команду, мапити її на жорсткий API або синтезувати дані з сенсорів у рішення.
Цей гайд розбирає всю систему від апаратного вузького місця до мапування пам'яті, захоплення голосу через I2S, виконання BLE та динамічних роїв, згенерованих безпосередньо на кремнії.
Наприкінці ти зможеш подивитися на фізичне завдання і перестати запитувати:
"Який API мені викликати?"
1. ФІЗИЧНИЙ ШІ ПОЧИНАЄТЬСЯ З ВУЗЬКОГО МІСЦЯ ПАМ'ЯТІ
Апаратний маркетинг часто подається як причина купувати більше VRAM. Таке формулювання пропускає справжній інженерний прорив.
Ти можеш купити RTX 5090, щоб запустити модель 70B лише для ввімкнення світла, і заплатиш за це теплом, електроенергією та величезним апаратним рахунком. Корисний вузол контролює, де зберігається пам'ять, який компонент обробляє кожне рішення і як дані рухаються через кремній.
Уяви, що просиш мікроконтролер ESP32-S3 за $8 запустити мовну модель. Звичайна мудрість каже, що це не вдасться. Чіп має лише 512KB швидкої SRAM та 16MB Flash. Модель не поміститься. У стандартному фреймворку це стає неможливим завданням. Сама таблиця вбудовувань (embedding table) знищує робочу пам'ять.
Інженерія рою відкриває це вузьке місце і дає кожному параметру видиме місце.
Прорив — архітектурний. Основна частина таблиці вбудовувань (приблизно 25 мільйонів параметрів) мапується безпосередньо у Flash. Активна робоча пам'ять залишається всередині швидкої SRAM.
Результат — робочий процес, де чіпу потрібно витягнути лише близько 450 байт на токен.
Вузол повинен приймати одне рішення
Корисний фізичний вузол має обмежену відповідальність:
- Знайти слово пробудження.
- Класифікувати намір як низький, середній або високий рівень впевненості.
- Виконати Bluetooth-макрос.
Кожен вузол потребує чіткого вводу, визначеного виводу та обмеженого апаратного сліду. Центральний Mac Mini, який захоплює голос, оцінює намір, проектує відповідь і надсилає сигнал, містить кілька точок відмови. Налагодження залишається складним, оскільки весь будинок покладається на одну машину.
Менші фізичні межі точно показують, який сенсор вийшов з ладу.
Граничний вузол повинен нести намір
Граничний вузол представляє дані, необхідні для наступної фізичної дії. Голосовий вузол може повертати передбачуваний JSON-об'єкт:
1{2 "sensor": "mic-living-room",3 "confidence": 0.98,4 "intent": "open_chrome_20_tabs",5 "execution_node": "ble-host-1"6}
Схеми зменшують дрейф інтерпретації між чіпами. Вільні аудіопотоки змушують кожен наступний вузол реконструювати значення попереднього вузла.
Деякі вузли — це звичайний код
Робочий процес повинен дедуплікувати команди, усувати тремтіння сигналів (debounce) та мапити наміри на жорстко закодовані дії. Ці операції мають детерміновані відповіді.
Ось як виглядає цикл виконання на практиці. Мікрофон I2S захоплює голос, LLM аналізує намір із флеш-пам'яті, а код на C++ виконує Bluetooth-команду:
1// 1. Ініціалізація моделі з 28M параметрами з мапованої Flash2LLM model = LLM_Init(FLASH_MAPPED_EMBEDDINGS);34void loop() {5 // 2. Захоплення аудіо з навколишнього середовища через I2S6 String audio = I2S_Record_Voice();78 if (Detect_Wake_Word(audio)) {9 // 3. Інференція (приблизно 9,5 токенів/сек)10 String intent = model.generate(audio);1112 // 4. Детерміноване виконання13 if (intent.indexOf("open_chrome") > -1) {14 BLE_Send_Macro(MAC_ADDRESS, CMD_OPEN_CHROME);15 }16 }17}
Це просте перетворення C++ миттєво обробляє робочий процес і видає той самий результат при кожному запуску. Надсилання того ж завдання іншій моделі додає затримку і створює точку відмови. Моделі вузлів належать до аналізу природної мови та нечіткої логіки. Код обробляє виконання BLE, усунення тремтіння та явні правила маршрутизації.
2. РІЙ: ЯК РОЗПОДІЛЕНІ ВУЗЛИ ПЕРЕМІЩАЮТЬ РОБОТУ
Більшість серйозних графів фізичного ШІ врешті-решт набувають однакової форми. Завдання починається в середовищі, розділяється на кілька незалежних сенсорів, стискає фізичні докази і передає результат у фінальне апаратне виконання.
Ця форма — Рій.
- Розгалуження: Захоплення навколишнього середовища (I2S-мікрофони).
- Бар'єр: Офлайн LLM (аналіз намірів).
- Збіг: Фізична дія (BLE-макроси).
Цей патерн з'являється скрізь, коли завдання стає надто складним для жорстких правил if-this-then-that.
Захоплення повинно створювати незалежні входи
Сенсор належить до фази захоплення, коли він може слухати навколишнє середовище і видавати корисний результат, не пробуджуючи головний мозок.
ESP32 може безперервно слухати слово пробудження, використовуючи майже нульову потужність. Після спрацьовування оркестрація залишається на кремнії. Чіп записує голос, запускає модель і повертає підтверджений намір.
Скорочуй перед виконанням
Після захоплення голосу вузол може містити кілька суперечливих інтерпретацій. Надсилання сирого аудіо безпосередньо на рівень виконання створює хаос. Етап скорочення готує команду.
Деяке скорочення відбувається через квантування (4-бітні моделі, що поміщаються у 16MB flash). Вузол виконання отримує строгу команду, не втрачаючи відстежуваності.
3. ДЕЦЕНТРАЛІЗАЦІЯ Є ЧАСТИНОЮ АРХІТЕКТУРИ
Вузол може швидко завершити інференцію і все одно спричинити неправильну дію. Системі потрібні правила для визначення, які команди заслуговують на виконання.
Маршрутизуй за апаратним обмеженням
Маршрутизатор читає структурований вивід і обирає наступну фізичну гілку. Це утримує дорогу обробку сконцентрованою навколо вузлів зі значущим впливом.
Підбирай апаратне забезпечення до вузла
Не кожній кімнаті потрібен чіп Apple M4. Вилучення, базова класифікація намірів та вузький голосовий пошук можуть працювати на ESP32 за $8. Важка обробка відео, складне міркування та глобальний синтез можуть виправдати потужніший центральний сервер.
Апаратне ієрархічне розшарування стає ще однією властивістю рою.
Знай, коли зупинити централізацію
Накладні витрати графа включають оркестрацію, затримку Wi-Fi, конфіги маршрутизатора та більше мережевих станів для налагодження. Централізованого Mac Mini зазвичай достатньо, коли у тебе лише один стіл.
Інженерія рою стає корисною, коли середовище має кілька кімнат, дорогі витрати на API, великі масиви сенсорів або потребу в повній офлайн-приватності.
4. ПОВНІ ІНСТРУКЦІЇ ЗІ ЗБІРКИ
Теорія марна, якщо ти точно не знаєш, що паяти і прошивати. Якщо хочеш зібрати локальний ШІ-вузол цими вихідними, ось невідфільтрований покроковий технічний гайд.
Крок 1: Апаратне забезпечення та з'єднання
Тобі потрібно рівно два компоненти:
- ESP32-S3 Development Board (Має бути варіант з 16MB Flash та 8MB PSRAM, щоб працювало мапування пам'яті моделі).
- INMP441 I2S Microphone Module.
Це фізичний ШІ, а це означає, що тобі потрібно його з'єднати. INMP441 використовує шину I2S. Припаяй з'єднання точно так:
- VDD \rightarrow 3.3V
- GND \rightarrow GND
- L/R \rightarrow GND (Переводить мікрофон на лівий канал)
- WS \rightarrow GPIO 4 (Вибір слова / Синхронізація кадрів)
- SCK \rightarrow GPIO 5 (Тактовий сигнал)
- SD \rightarrow GPIO 6 (Дані)
Крок 2: Модель та процес прошивки
Ти завантажуєш не ChatGPT. Ти завантажуєш дистильовану модель з 28,9 мільйонами параметрів, оптимізовану виключно для класифікації намірів та структурованого JSON-виводу.
Тобі не потрібно боротися з ESP-IDF інструментарієм. Ти можеш прошити попередньо скомпільований бінарник та ваги моделі безпосередньо за допомогою esptool.py.
- Переведи плату в режим завантажувача (Затримай BOOT, натисни RST, відпусти BOOT).
- Виконай точну команду прошивки, яка мапує модель безпосередньо у 16MB Flash-розділ:
1esptool.py --chip esp32s3 --baud 921600 \2 --before default_reset --after hard_reset write_flash -z \3 --flash_mode dio --flash_freq 80m --flash_size 16MB \4 0x10000 build/firmware.bin \5 0x400000 models/intent_classifier_28M_q4.bin
Крок 3: Приймач (Home Assistant)
Після прошивки ESP32 не потребує Wi-Fi або хмарного API. Коли він виявляє намір, він транслює стандартний BLE-пакет, сумісний з BTHome.
Щоб перехопити цей сигнал і насправді ввімкнути світло:
- Запусти Home Assistant з Bluetooth-інтеграцією (або ESP32 BLE Proxy).
- Вузол автоматично виявиться як BTHome-сенсор.
- Намір (наприклад, open_chrome, lights_off) з'явиться як зміна стану сенсора. Мапуй цей стан безпосередньо на свої існуючі автоматизації.
Цінність полягає в тому, щоб зробити обчислення невидимими.
Кожен вузол має обмежену фізичну відповідальність. Кожен чіп несе структурований намір. Кожна кімната має причину для існування. Кожна голосова команда залишається офлайн.
На цьому етапі твій будинок більше не працює на дорогому API.
Він виконує спроектований рій.
