Skip to content

STUDY_GUIDE.md

Latest commit

 

History

History
773 lines (601 loc) · 37 KB

STUDY_GUIDE.md

File metadata and controls

773 lines (601 loc) · 37 KB

EdgeAI pre začiatočníkov: Študijné cesty a harmonogram

Intenzívna študijná cesta (1 týždeň)

Deň Zameranie Odhadovaný čas
Deň 0 Modul 0: Úvod do EdgeAI 1-2 hodiny
Deň 1 Modul 1: Základy EdgeAI 3 hodiny
Deň 2 Modul 2: Základy SLM 3 hodiny
Deň 3 Modul 3: Nasadenie SLM 2 hodiny
Deň 4-5 Modul 4: Optimalizácia modelov (6 frameworkov) 4 hodiny
Deň 6 Modul 5: SLMOps 3 hodiny
Deň 7 Modul 6-7: AI agenti a vývojové nástroje 4 hodiny
Deň 8 Modul 8: Foundry Local Toolkit (moderná implementácia) 1 hodina

Intenzívna študijná cesta (2 týždne)

Deň Zameranie Odhadovaný čas
Deň 1-2 Modul 1: Základy EdgeAI 3 hodiny
Deň 3-4 Modul 2: Základy SLM 3 hodiny
Deň 5-6 Modul 3: Nasadenie SLM 2 hodiny
Deň 7-8 Modul 4: Optimalizácia modelov 4 hodiny
Deň 9-10 Modul 5: SLMOps 3 hodiny
Deň 11-12 Modul 6: AI agenti 2 hodiny
Deň 13-14 Modul 7: Vývojové nástroje 3 hodiny

Štúdium na čiastočný úväzok (4 týždne)

Týždeň Zameranie Odhadovaný čas
Týždeň 1 Modul 1-2: Základy a SLM základy 6 hodín
Týždeň 2 Modul 3-4: Nasadenie a optimalizácia 6 hodín
Týždeň 3 Modul 5-6: SLMOps a AI agenti 5 hodín
Týždeň 4 Modul 7: Vývojové nástroje a integrácia 3 hodiny
Deň Zameranie Odhadovaný čas
Deň 0 Modul 0: Úvod do EdgeAI 1-2 hodiny
Deň 1-2 Modul 1: Základy EdgeAI 3 hodiny
Deň 3-4 Modul 2: Základy SLM 3 hodiny
Deň 5-6 Modul 3: Nasadenie SLM 2 hodiny
Deň 7-8 Modul 4: Optimalizácia modelov 4 hodiny
Deň 9-10 Modul 5: SLMOps 3 hodiny
Deň 11-12 Modul 6: SLM agentické systémy 2 hodiny
Deň 13-14 Modul 7: Ukážky implementácie EdgeAI 2 hodiny
Modul Dátum dokončenia Strávený čas Hlavné poznatky
Modul 0: Úvod do EdgeAI
Modul 1: Základy EdgeAI
Modul 2: Základy SLM
Modul 3: Nasadenie SLM
Modul 4: Optimalizácia modelov (6 frameworkov)
Modul 5: SLMOps
Modul 6: SLM agentické systémy
Modul 7: Ukážky implementácie EdgeAI
Praktické cvičenia
Mini-projekt

Štúdium na čiastočný úväzok (4 týždne)

Týždeň Zameranie Odhadovaný čas
Týždeň 1 Modul 1-2: Základy a SLM základy 6 hodín
Týždeň 2 Modul 3-4: Nasadenie a optimalizácia 6 hodín
Týždeň 3 Modul 5-6: SLMOps a AI agenti 5 hodín
Týždeň 4 Modul 7: Vývojové nástroje a integrácia 3 hodiny

Úvod

Vitajte v študijnom sprievodcovi EdgeAI pre začiatočníkov! Tento dokument je navrhnutý tak, aby vám pomohol efektívne prejsť kurzom a maximalizovať váš učebný zážitok. Poskytuje štruktúrované študijné cesty, odporúčané harmonogramy, zhrnutia kľúčových konceptov a doplnkové zdroje na prehĺbenie vášho porozumenia technológiám Edge AI.

Ide o stručný 20-hodinový kurz, ktorý poskytuje základné znalosti o EdgeAI v časovo efektívnom formáte, čo ho robí ideálnym pre zaneprázdnených profesionálov a študentov, ktorí chcú rýchlo získať praktické zručnosti v tejto rozvíjajúcej sa oblasti.

Prehľad kurzu

Kurz je rozdelený do ôsmich komplexných modulov:

  1. Úvod do EdgeAI - Základy a nastavenie kontextu s aplikáciami v priemysle a cieľmi učenia
  2. Základy EdgeAI a transformácia - Pochopenie základných konceptov a technologického posunu
  3. Základy malých jazykových modelov (SLM) - Preskúmanie rôznych rodín SLM a ich architektúr
  4. Nasadenie malých jazykových modelov - Implementácia praktických stratégií nasadenia
  5. Konverzia formátov modelov a kvantizácia - Pokročilá optimalizácia s 6 frameworkami vrátane OpenVINO
  6. SLMOps - Operácie malých jazykových modelov - Riadenie životného cyklu produkcie a nasadenia
  7. Agentické systémy SLM - AI agenti, volanie funkcií a protokol kontextu modelu
  8. Ukážky implementácie EdgeAI - AI Toolkit, vývoj na Windows a implementácie špecifické pre platformu
  9. Microsoft Foundry Local – Kompletná sada nástrojov pre vývojárov - Lokálne zameraný vývoj s hybridnou integráciou Azure (Modul 08)

Ako používať tento študijný sprievodca

  • Postupné učenie: Sledujte moduly v poradí pre najkoherentnejší učebný zážitok
  • Kontrolné body vedomostí: Použite otázky na sebahodnotenie po každej sekcii
  • Praktické cvičenia: Dokončite odporúčané cvičenia na posilnenie teoretických konceptov
  • Doplnkové zdroje: Preskúmajte ďalšie materiály pre témy, ktoré vás najviac zaujímajú

Odporúčania pre študijný harmonogram

Intenzívna študijná cesta (1 týždeň)

Deň Zameranie Odhadovaný čas
Deň 0 Modul 0: Úvod do EdgeAI 1-2 hodiny
Deň 1-2 Modul 1: Základy EdgeAI 6 hodín
Deň 3-4 Modul 2: Základy SLM 8 hodín
Deň 5 Modul 3: Nasadenie SLM 3 hodiny
Deň 6 Modul 8: Foundry Local Toolkit 3 hodiny

Štúdium na čiastočný úväzok (3 týždne)

Týždeň Zameranie Odhadovaný čas
Týždeň 1 Modul 0: Úvod + Modul 1: Základy EdgeAI 7-9 hodín
Týždeň 2 Modul 2: Základy SLM 7-8 hodín
Týždeň 3 Modul 3: Nasadenie SLM (3h) + Modul 8: Foundry Local Toolkit (2-3h) 5-6 hodín

Modul 0: Úvod do EdgeAI

Kľúčové ciele učenia

  • Pochopiť, čo je Edge AI a prečo je dôležitý v dnešnom technologickom prostredí
  • Identifikovať hlavné odvetvia transformované Edge AI a ich konkrétne prípady použitia
  • Pochopiť výhody malých jazykových modelov (SLM) pre nasadenie na okraji
  • Stanoviť jasné očakávania učenia a výsledky pre celý kurz
  • Rozpoznať kariérne príležitosti a požiadavky na zručnosti v oblasti Edge AI

Oblasti zamerania štúdia

Sekcia 1: Paradigma Edge AI a definícia

  • Prioritné koncepty:
    • Edge AI vs. tradičné cloudové AI spracovanie
    • Konvergencia hardvéru, optimalizácie modelov a obchodných požiadaviek
    • Nasadenie AI v reálnom čase, s ochranou súkromia a nákladovou efektívnosťou

Sekcia 2: Aplikácie v priemysle

  • Prioritné koncepty:
    • Výroba a Industry 4.0: Prediktívna údržba a kontrola kvality
    • Zdravotníctvo: Diagnostické zobrazovanie a monitorovanie pacientov
    • Autonómne systémy: Autonómne vozidlá a doprava
    • Inteligentné mestá: Riadenie dopravy a verejná bezpečnosť
    • Spotrebiteľská technológia: Smartfóny, nositeľné zariadenia a inteligentné domácnosti

Sekcia 3: Základy malých jazykových modelov

  • Prioritné koncepty:
    • Charakteristiky SLM a porovnanie výkonu
    • Efektívnosť parametrov vs. kompromisy schopností
    • Obmedzenia nasadenia na okraji a stratégie optimalizácie

Sekcia 4: Rámec učenia a kariérna cesta

  • Prioritné koncepty:
    • Architektúra kurzu a prístup k postupnému zvládnutiu
    • Technické zručnosti a ciele praktickej implementácie
    • Kariérne možnosti a aplikácie v priemysle

Otázky na sebahodnotenie

  1. Aké sú tri hlavné technologické trendy, ktoré umožnili Edge AI?
  2. Porovnajte výhody a výzvy Edge AI vs. cloudového AI.
  3. Pomenujte tri odvetvia, kde Edge AI poskytuje kritickú obchodnú hodnotu, a vysvetlite prečo.
  4. Ako malé jazykové modely robia Edge AI praktickým pre nasadenie v reálnom svete?
  5. Aké kľúčové technické zručnosti si osvojíte počas tohto kurzu?
  6. Opíšte štvorfázový prístup k učeniu použitý v tomto kurze.

Praktické cvičenia

  1. Výskum v priemysle: Vyberte jednu aplikáciu v priemysle a preskúmajte reálnu implementáciu Edge AI (30 minút)
  2. Preskúmanie modelov: Prezrite si dostupné malé jazykové modely na Hugging Face a porovnajte ich počty parametrov a schopnosti (30 minút)
  3. Plánovanie učenia: Prezrite si štruktúru celého kurzu a vytvorte si svoj osobný študijný harmonogram (15 minút)

Doplnkové materiály

Modul 1: Základy EdgeAI a transformácia

Kľúčové ciele učenia

  • Pochopiť rozdiely medzi cloudovým a edge-based AI
  • Osvojiť si základné techniky optimalizácie pre prostredia s obmedzenými zdrojmi
  • Analyzovať reálne aplikácie technológií EdgeAI
  • Nastaviť vývojové prostredie pre projekty EdgeAI

Oblasti zamerania štúdia

Sekcia 1: Základy EdgeAI

Sekcia 2: Prípadové štúdie z reálneho sveta

  • Prioritné koncepty:
    • Ekosystém modelov Microsoft Phi & Mu
    • Praktické implementácie naprieč odvetviami
    • Úvahy o nasadení

Sekcia 3: Praktický sprievodca implementáciou

  • Prioritné koncepty:
    • Nastavenie vývojového prostredia
    • Nástroje na kvantizáciu a optimalizáciu
    • Metódy hodnotenia implementácií EdgeAI

Sekcia 4: Hardvér pre nasadenie na okraji

  • Prioritné koncepty:
    • Porovnanie hardvérových platforiem
    • Optimalizačné stratégie pre konkrétny hardvér
    • Úvahy o nasadení

Otázky na sebahodnotenie

  1. Porovnajte a kontrastujte cloudové AI s implementáciami Edge AI.
  2. Vysvetlite tri kľúčové techniky na optimalizáciu modelov pre nasadenie na okraji.
  3. Aké sú hlavné výhody spúšťania AI modelov na okraji?
  4. Opíšte proces kvantizácie modelu a ako ovplyvňuje výkon.
  5. Vysvetlite, ako rôzne hardvérové akcelerátory (NPU, GPU, CPU) ovplyvňujú nasadenie EdgeAI.

Praktické cvičenia

  1. Rýchle nastavenie prostredia: Konfigurujte minimálne vývojové prostredie s potrebnými balíkmi (30 minút)
  2. Preskúmanie modelov: Stiahnite a preskúmajte predtrénovaný malý jazykový model (1 hodina)
  3. Základná kvantizácia: Vyskúšajte jednoduchú kvantizáciu na malom modeli (1 hodina)

Modul 2: Základy malých jazykových modelov

Kľúčové ciele učenia

  • Pochopiť architektonické princípy rôznych rodín SLM
  • Porovnať schopnosti modelov naprieč rôznymi rozsahmi parametrov
  • Hodnotiť modely na základe efektívnosti, schopností a požiadaviek na nasadenie
  • Rozpoznať vhodné prípady použitia pre rôzne rodiny modelov

Oblasti zamerania štúdia

Sekcia 1: Rodina modelov Microsoft Phi

  • Prioritné koncepty:
    • Vývoj filozofie dizajnu
    • Architektúra zameraná na efektívnosť
    • Špecializované schopnosti

Sekcia 2: Rodina Qwen

  • Prioritné koncepty:
    • Príspevky otvoreného zdroja
    • Možnosti škálovateľného nasadenia
    • Pokročilá architektúra pre uvažovanie

Sekcia 3: Rodina Gemma

  • Prioritné koncepty:
    • Inovácie založené na výskume
    • Multimodálne schopnosti
    • Optimalizácia pre mobilné zariadenia

Sekcia 4: Rodina BitNET

  • Prioritné koncepty:
    • Technológia kvantizácie na úrovni 1 bitu
    • Rámec optimalizácie inferencie
    • Úvahy o udržateľnosti

Sekcia 5: Model Microsoft Mu

  • Prioritné koncepty:
  1. Aké sú jedinečné výhody modelu Mu pri integrácii s Windows?
  2. Opíšte, ako Phi-Silica využíva hardvér NPU na optimalizáciu výkonu.
  3. Ktorá rodina modelov by bola najvhodnejšia pre mobilnú aplikáciu s obmedzenou konektivitou a prečo?

Praktické cvičenia

  1. Porovnanie modelov: Rýchle porovnanie dvoch rôznych SLM modelov (1 hodina)
  2. Jednoduchá generácia textu: Základná implementácia generovania textu s malým modelom (1 hodina)
  3. Rýchla optimalizácia: Použitie jednej optimalizačnej techniky na zlepšenie rýchlosti inferencie (1 hodina)

Modul 3: Nasadenie malých jazykových modelov

Hlavné vzdelávacie ciele

  • Výber vhodných modelov na základe obmedzení pri nasadení
  • Ovládnutie optimalizačných techník pre rôzne scenáre nasadenia
  • Implementácia SLM v lokálnom aj cloudovom prostredí
  • Návrh konfigurácií pripravených na produkciu pre aplikácie EdgeAI

Oblasti zamerania štúdia

Sekcia 1: Pokročilé učenie SLM

  • Prioritné koncepty:
    • Rámec klasifikácie parametrov
    • Pokročilé optimalizačné techniky
    • Stratégie získavania modelov

Sekcia 2: Nasadenie v lokálnom prostredí

  • Prioritné koncepty:
    • Nasadenie na platforme Ollama
    • Lokálne riešenia Microsoft Foundry
    • Porovnávacia analýza rámcov

Sekcia 3: Kontajnerizované nasadenie v cloude

  • Prioritné koncepty:
    • vLLM inferencia s vysokým výkonom
    • Orchestrácia kontajnerov
    • Implementácia ONNX Runtime

Otázky na sebahodnotenie

  1. Aké faktory by sa mali zvážiť pri výbere medzi lokálnym nasadením a nasadením v cloude?
  2. Porovnajte Ollama a Microsoft Foundry Local ako možnosti nasadenia.
  3. Vysvetlite výhody kontajnerizácie pri nasadení SLM.
  4. Aké sú kľúčové metriky výkonu, ktoré treba monitorovať pri nasadení SLM na okraji?
  5. Opíšte kompletný pracovný postup nasadenia od výberu modelu po implementáciu v produkcii.

Praktické cvičenia

  1. Základné lokálne nasadenie: Nasadenie jednoduchého SLM pomocou Ollama (1 hodina)
  2. Kontrola výkonu: Rýchle porovnanie vášho nasadeného modelu (30 minút)
  3. Jednoduchá integrácia: Vytvorenie minimálnej aplikácie, ktorá používa váš nasadený model (1 hodina)

Modul 4: Konverzia formátu modelu a kvantizácia

Hlavné vzdelávacie ciele

  • Ovládnutie pokročilých techník kvantizácie od presnosti 1-bit po 8-bit
  • Pochopenie stratégií konverzie formátov (GGUF, ONNX)
  • Implementácia optimalizácie naprieč šiestimi rámcami (Llama.cpp, Olive, OpenVINO, MLX, syntéza pracovného postupu)
  • Nasadenie optimalizovaných modelov pre produkčné prostredia Edge na hardvéri Intel, Apple a multiplatformových zariadeniach

Oblasti zamerania štúdia

Sekcia 1: Základy kvantizácie

  • Prioritné koncepty:
    • Rámec klasifikácie presnosti
    • Kompromisy medzi výkonom a presnosťou
    • Optimalizácia pamäťovej stopy

Sekcia 2: Implementácia Llama.cpp

  • Prioritné koncepty:
    • Nasadenie na viacerých platformách
    • Optimalizácia formátu GGUF
    • Techniky hardvérovej akcelerácie

Sekcia 3: Microsoft Olive Suite

  • Prioritné koncepty:
    • Optimalizácia zohľadňujúca hardvér
    • Nasadenie na úrovni podnikov
    • Automatizované pracovné postupy optimalizácie

Sekcia 4: OpenVINO Toolkit

  • Prioritné koncepty:
    • Optimalizácia hardvéru Intel
    • Rámec kompresie neurónových sietí (NNCF)
    • Nasadenie inferencie na viacerých platformách
    • OpenVINO GenAI pre nasadenie LLM

Sekcia 5: Apple MLX Framework

  • Prioritné koncepty:
    • Optimalizácia pre Apple Silicon
    • Architektúra zjednotenej pamäte
    • Možnosti jemného doladenia LoRA

Sekcia 6: Syntéza pracovného postupu vývoja Edge AI

  • Prioritné koncepty:
    • Architektúra zjednoteného pracovného postupu
    • Rozhodovacie stromy pre výber rámca
    • Validácia pripravenosti na produkciu
    • Stratégie zabezpečenia budúcnosti

Otázky na sebahodnotenie

  1. Porovnajte stratégie kvantizácie naprieč rôznymi úrovňami presnosti (1-bit až 8-bit).
  2. Vysvetlite výhody formátu GGUF pre nasadenie na okraji.
  3. Ako zlepšuje optimalizácia zohľadňujúca hardvér v Microsoft Olive efektivitu nasadenia?
  4. Aké sú hlavné výhody NNCF od OpenVINO pre kompresiu modelov?
  5. Opíšte, ako Apple MLX využíva architektúru zjednotenej pamäte na optimalizáciu.
  6. Ako pomáha syntéza pracovného postupu pri výbere optimálnych rámcov optimalizácie?

Praktické cvičenia

  1. Kvantizácia modelu: Použitie rôznych úrovní kvantizácie na model a porovnanie výsledkov (1 hodina)
  2. Optimalizácia OpenVINO: Použitie NNCF na kompresiu modelu pre hardvér Intel (1 hodina)
  3. Porovnanie rámcov: Testovanie rovnakého modelu na troch rôznych rámcoch optimalizácie (1 hodina)
  4. Porovnanie výkonu: Meranie vplyvu optimalizácie na rýchlosť inferencie a využitie pamäte (1 hodina)

Modul 5: SLMOps - Operácie malých jazykových modelov

Hlavné vzdelávacie ciele

  • Pochopenie princípov riadenia životného cyklu SLMOps
  • Ovládnutie techník destilácie a jemného doladenia pre nasadenie na okraji
  • Implementácia stratégií nasadenia do produkcie s monitorovaním
  • Vytvorenie pracovných postupov pre operácie a údržbu SLM na úrovni podnikov

Oblasti zamerania štúdia

Sekcia 1: Úvod do SLMOps

  • Prioritné koncepty:
    • Paradigma SLMOps v operáciách AI
    • Nákladová efektívnosť a architektúra zameraná na ochranu súkromia
    • Strategický obchodný dopad a konkurenčné výhody

Sekcia 2: Destilácia modelu

  • Prioritné koncepty:
    • Techniky prenosu znalostí
    • Implementácia procesu dvojstupňovej destilácie
    • Pracovné postupy destilácie Azure ML

Sekcia 3: Stratégie jemného doladenia

  • Prioritné koncepty:
    • Jemné doladenie efektívne na parametre (PEFT)
    • Pokročilé metódy LoRA a QLoRA
    • Viacadaptérové školenie a optimalizácia hyperparametrov

Sekcia 4: Nasadenie do produkcie

  • Prioritné koncepty:
    • Konverzia modelu a kvantizácia pre produkciu
    • Konfigurácia nasadenia Foundry Local
    • Porovnanie výkonu a validácia kvality

Otázky na sebahodnotenie

  1. Ako sa SLMOps líši od tradičného MLOps?
  2. Vysvetlite výhody destilácie modelu pre nasadenie na okraji.
  3. Aké sú kľúčové úvahy pri jemnom doladení SLM v prostrediach s obmedzenými zdrojmi?
  4. Opíšte kompletný pracovný postup nasadenia do produkcie pre aplikácie Edge AI.

Praktické cvičenia

  1. Základná destilácia: Vytvorenie menšieho modelu z väčšieho učiteľského modelu (1 hodina)
  2. Experiment s jemným doladením: Jemné doladenie modelu pre konkrétnu oblasť (1 hodina)
  3. Pipeline nasadenia: Nastavenie základného CI/CD pipeline pre nasadenie modelu (1 hodina)

Modul 6: SLM Agentické systémy - AI agenti a volanie funkcií

Hlavné vzdelávacie ciele

  • Vytvorenie inteligentných AI agentov pre prostredia Edge pomocou malých jazykových modelov
  • Implementácia schopností volania funkcií so systematickými pracovnými postupmi
  • Ovládnutie integrácie protokolu Model Context Protocol (MCP) pre štandardizovanú interakciu s nástrojmi
  • Vytvorenie sofistikovaných agentických systémov s minimálnym zásahom človeka

Oblasti zamerania štúdia

Sekcia 1: AI agenti a základy SLM

  • Prioritné koncepty:
    • Rámec klasifikácie agentov (reflexní, založení na modeli, založení na cieľoch, učební agenti)
    • Analýza kompromisov medzi SLM a LLM
    • Vzory dizajnu agentov špecifické pre okraj
    • Optimalizácia zdrojov pre agentov

Sekcia 2: Volanie funkcií v malých jazykových modeloch

  • Prioritné koncepty:
    • Implementácia systematických pracovných postupov (detekcia zámeru, výstup JSON, externé vykonanie)
    • Implementácie špecifické pre platformu (Phi-4-mini, vybrané modely Qwen, Microsoft Foundry Local)
    • Pokročilé príklady (spolupráca viacerých agentov, dynamický výber nástrojov)
    • Úvahy o produkcii (obmedzenie rýchlosti, protokolovanie auditu, bezpečnostné opatrenia)

Sekcia 3: Integrácia protokolu Model Context Protocol (MCP)

  • Prioritné koncepty:
    • Architektúra protokolu a dizajn vrstveného systému
    • Podpora viacerých backendov (Ollama pre vývoj, vLLM pre produkciu)
    • Protokoly pripojenia (režimy STDIO a SSE)
    • Aplikácie v reálnom svete (webová automatizácia, spracovanie dát, integrácia API)

Otázky na sebahodnotenie

  1. Aké sú kľúčové úvahy o architektúre pre agentov Edge AI?
  2. Ako zlepšuje volanie funkcií schopnosti agentov?
  3. Vysvetlite úlohu protokolu Model Context Protocol v komunikácii agentov.

Praktické cvičenia

  1. Jednoduchý agent: Vytvorenie základného AI agenta s volaním funkcií (1 hodina)
  2. Integrácia MCP: Implementácia MCP v aplikácii agenta (30 minút)

Workshop: Praktická učebná cesta

Hlavné vzdelávacie ciele

  • Vytvorenie produkčne pripravených AI aplikácií pomocou Foundry Local SDK a osvedčených postupov
  • Implementácia komplexného spracovania chýb a vzorcov spätnej väzby od používateľov
  • Vytvorenie RAG pipeline s hodnotením kvality a monitorovaním výkonu
  • Vývoj systémov viacerých agentov s koordinátorskými vzorcami
  • Ovládnutie inteligentného smerovania modelov pre výber modelov na základe úloh
  • Nasadenie lokálne orientovaných AI riešení s architektúrami na ochranu súkromia

Oblasti zamerania štúdia

Session 01: Začíname s Foundry Local

  • Prioritné koncepty:
    • Integrácia FoundryLocalManager SDK a automatické vyhľadávanie služieb
    • Základné a streamovacie chatovacie implementácie
    • Vzorce spracovania chýb a spätná väzba od používateľov
    • Konfigurácia na základe prostredia

Session 02: Vytváranie AI riešení s RAG

  • Prioritné koncepty:
    • Vektorové embeddingy v pamäti so sentence-transformers
    • Implementácia RAG pipeline (vyhľadávanie → generovanie)
    • Hodnotenie kvality pomocou metriky RAGAS
    • Bezpečnosť importu pre voliteľné závislosti

Session 03: Open Source modely

  • Prioritné koncepty:
    • Stratégie porovnávania viacerých modelov
    • Merania latencie a priepustnosti
    • Elegantná degradácia a obnova po chybách
    • Porovnanie výkonu naprieč rodinami modelov

Session 04: Najmodernejšie modely

  • Prioritné koncepty:
    • Metodológia porovnávania SLM a LLM
    • Typové náznaky a komplexné formátovanie výstupov
    • Spracovanie chýb pre jednotlivé modely
    • Štruktúrované výsledky na analýzu

Session 05: AI poháňaní agenti

  • Prioritné koncepty:
    • Orchestrácia viacerých agentov s koordinátorským vzorcom
    • Správa pamäte agentov a sledovanie stavu
    • Spracovanie chýb v pipeline a protokolovanie fáz
    • Monitorovanie výkonu a štatistiky

Session 06: Modely ako nástroje

  • Prioritné koncepty:
    • Detekcia zámeru a porovnávanie vzorcov
    • Algoritmy smerovania modelov na základe kľúčových slov
    • Viacstupňové pipeline (plán → vykonanie → doladenie)
    • Komplexná dokumentácia funkcií

Otázky na sebahodnotenie

  1. Ako FoundryLocalManager zjednodušuje správu služieb v porovnaní s manuálnymi REST volaniami?
  2. Vysvetlite význam ochranných importov pre voliteľné závislosti ako sentence-transformers.
  3. Aké stratégie zabezpečujú elegantnú degradáciu pri porovnávaní viacerých modelov?
  4. Ako koordinátorský vzorec orchestruje viacerých špecializovaných agentov?
  5. Opíšte komponenty inteligentného smerovača modelov.
  6. Aké sú kľúčové prvky produkčne pripraveného spracovania chýb?

Praktické cvičenia

  1. Chatová aplikácia: Implementácia streamovacieho chatu so spracovaním chýb (45 minút)
  2. RAG pipeline: Vytvorenie minimálneho RAG s hodnotením kvality (1 hodina)
  3. Porovnanie modelov: Porovnanie 3+ modelov na základe výkonu (1 hodina)
  4. Systém viacerých agentov: Vytvorenie koordinátora s 2 špecializovanými agentmi (1,5 hodiny)
  5. Inteligentný smerovač: Vytvorenie výberu modelu na základe úloh (1 hodina)
  6. Produkčné nasadenie: Pridanie monitorovania a komplexného spracovania chýb (45 minút)

Časové rozdelenie

Koncentrované učenie (1 týždeň):

  • Deň 1: Session 01-02 (Chat + RAG) - 3 hodiny
  • Deň 2: Session 03-04 (Porovnanie + porovnanie) - 3 hodiny
  • Deň 3: Session 05-06 (Agenti + smerovanie) - 3 hodiny
  • Deň 4: Praktické cvičenia a validácia - 2 hodiny

Štúdium na čiastočný úväzok (2 týždne):

  • Týždeň 1: Sessions 01-03 (6 hodín celkom)
  • Týždeň 2: Sessions 04-06 + cvičenia (5 hodín celkom)

Modul 7: Ukážky implementácie EdgeAI

Hlavné vzdelávacie ciele

  • Ovládnutie AI Toolkit pre Visual Studio Code pre komplexné pracovné postup
  1. Vysvetlite úlohu optimalizácie NPU v moderných aplikáciách Edge AI.
  2. Ako využíva API Phi Silica hardvér NPU na optimalizáciu výkonu?
  3. Porovnajte výhody lokálneho nasadenia oproti nasadeniu v cloude pre aplikácie citlivé na súkromie.

Praktické cvičenia

  1. Nastavenie AI Toolkit: Konfigurácia AI Toolkit a optimalizácia modelu (1 hodina)
  2. Windows AI Foundry: Vytvorenie jednoduchej Windows AI aplikácie pomocou API Phi Silica (1 hodina)
  3. Nasadenie na viacerých platformách: Nasadenie rovnakého modelu na dvoch rôznych platformách (1 hodina)
  4. Optimalizácia NPU: Testovanie výkonu NPU pomocou nástrojov Windows AI Foundry (30 minút)

Modul 8: Microsoft Foundry Local – Kompletná sada nástrojov pre vývojárov (modernizovaná)

Kľúčové vzdelávacie ciele

  • Inštalácia a konfigurácia Foundry Local s modernou integráciou SDK
  • Implementácia pokročilých systémov s viacerými agentmi pomocou koordinátorových vzorcov
  • Vytvorenie inteligentných smerovačov modelov s automatickým výberom na základe úloh
  • Nasadenie produkčne pripravených AI riešení s komplexným monitorovaním
  • Integrácia s Azure AI Foundry pre hybridné scenáre nasadenia
  • Ovládnutie moderných vzorcov SDK pomocou FoundryLocalManager a OpenAI klienta

Oblasti zamerania na štúdium

Sekcia 1: Moderná inštalácia a konfigurácia

  • Prioritné koncepty:
    • Integrácia SDK FoundryLocalManager
    • Automatické objavovanie služieb a monitorovanie zdravia
    • Konfiguračné vzorce založené na prostredí
    • Úvahy o produkčnom nasadení

Sekcia 2: Pokročilé systémy s viacerými agentmi

  • Prioritné koncepty:
    • Koordinátorový vzorec so špecializovanými agentmi
    • Špecializácia agentov na vyhľadávanie, uvažovanie a vykonávanie
    • Mechanizmy spätnej väzby na zlepšenie
    • Monitorovanie výkonu a sledovanie štatistík

Sekcia 3: Inteligentné smerovanie modelov

  • Prioritné koncepty:
    • Algoritmy výberu modelov na základe kľúčových slov
    • Podpora viacerých modelov (všeobecné, uvažovanie, kódovanie, kreatívne)
    • Konfigurácia premenných prostredia pre flexibilitu
    • Kontrola zdravia služieb a spracovanie chýb

Sekcia 4: Produkčne pripravená implementácia

  • Prioritné koncepty:
    • Komplexné spracovanie chýb a mechanizmy záložných riešení
    • Monitorovanie požiadaviek a sledovanie výkonu
    • Interaktívne príklady v Jupyter notebookoch s benchmarkmi
    • Vzorce integrácie s existujúcimi aplikáciami

Otázky na sebahodnotenie

  1. Ako sa moderný prístup FoundryLocalManager líši od manuálnych REST volaní?
  2. Vysvetlite koordinátorový vzorec a ako orchestruje špecializovaných agentov.
  3. Ako inteligentný smerovač vyberá vhodné modely na základe obsahu dotazu?
  4. Aké sú kľúčové komponenty produkčne pripraveného systému AI agentov?
  5. Ako implementujete komplexné monitorovanie zdravia pre služby Foundry Local?
  6. Porovnajte výhody modernizovaného prístupu oproti tradičným implementačným vzorcom.

Praktické cvičenia

  1. Nastavenie moderného SDK: Konfigurácia FoundryLocalManager s automatickým objavovaním služieb (30 minút)
  2. Systém s viacerými agentmi: Spustenie pokročilého koordinátora so špecializovanými agentmi (30 minút)
  3. Inteligentné smerovanie: Testovanie smerovača modelov s rôznymi typmi dotazov (30 minút)
  4. Interaktívne skúmanie: Použitie Jupyter notebookov na preskúmanie pokročilých funkcií (45 minút)
  5. Produkčné nasadenie: Implementácia vzorcov monitorovania a spracovania chýb (30 minút)
  6. Hybridná integrácia: Konfigurácia scenárov záložného riešenia Azure AI Foundry (30 minút)

Sprievodca časovým rozvrhnutím

Aby ste čo najlepšie využili rozšírený 30-hodinový časový plán kurzu (vrátane workshopu), tu je navrhované rozdelenie času:

Aktivita Časové rozdelenie Popis
Čítanie základných materiálov 12 hodín Zameranie na základné koncepty v každom module
Praktické cvičenia 10 hodín Praktická implementácia kľúčových techník (vrátane workshopu)
Sebahodnotenie 3 hodiny Testovanie porozumenia prostredníctvom otázok a reflexie
Mini-projekt 5 hodín Aplikácia poznatkov na malú praktickú implementáciu

Kľúčové oblasti zamerania podľa časových obmedzení

Ak máte len 10 hodín:

  • Dokončite Modul 0 (Úvod) a Moduly 1, 2 a 3 (základné koncepty EdgeAI)
  • Vykonajte aspoň jedno praktické cvičenie na modul
  • Zamerajte sa na pochopenie základných konceptov namiesto detailov implementácie

Ak môžete venovať plných 20 hodín:

  • Dokončite všetkých osem modulov (vrátane Úvodu)
  • Vykonajte kľúčové praktické cvičenia z každého modulu
  • Dokončite jeden mini-projekt z Modulu 7
  • Preskúmajte aspoň 2-3 doplnkové zdroje

Ak máte viac ako 20 hodín:

  • Dokončite všetky moduly (vrátane Úvodu) s podrobnými cvičeniami
  • Vytvorte viacero mini-projektov
  • Preskúmajte pokročilé techniky optimalizácie v Module 4
  • Implementujte produkčné nasadenie z Modulu 5

Základné zdroje

Tieto starostlivo vybrané zdroje poskytujú najväčšiu hodnotu pre váš obmedzený čas na štúdium:

Dokumentácia, ktorú musíte prečítať

Nástroje na úsporu času

Šablóna na sledovanie pokroku

Použite túto zjednodušenú šablónu na sledovanie vášho pokroku v 20-hodinovom kurze:

Modul Dátum dokončenia Strávené hodiny Kľúčové poznatky
Modul 0: Úvod do EdgeAI
Modul 1: Základy EdgeAI
Modul 2: Základy SLM
Modul 3: Nasadenie SLM
Modul 4: Optimalizácia modelov
Modul 5: SLMOps
Modul 6: AI agenti
Modul 7: Nástroje pre vývoj
Workshop: Praktické učenie
Modul 8: Toolkit Foundry Local
Praktické cvičenia
Mini-projekt

Nápady na mini-projekty

Zvážte dokončenie jedného z týchto projektov na precvičenie konceptov EdgeAI (každý je navrhnutý na 2-4 hodiny):

Projekty pre začiatočníkov (2-3 hodiny každý)

  1. Textový asistent na Edge: Vytvorte jednoduchý offline nástroj na dopĺňanie textu pomocou malého jazykového modelu
  2. Dashboard na porovnanie modelov: Vytvorte základnú vizualizáciu metrík výkonu naprieč rôznymi SLM
  3. Experiment s optimalizáciou: Zmerajte vplyv rôznych úrovní kvantizácie na rovnaký základný model

Projekty pre pokročilých (3-4 hodiny každý)

  1. Workflow AI Toolkit: Použite AI Toolkit vo VS Code na optimalizáciu a nasadenie modelu od začiatku do konca
  2. Aplikácia Windows AI Foundry: Vytvorte Windows aplikáciu pomocou API Phi Silica a optimalizácie NPU
  3. Nasadenie na viacerých platformách: Nasadenie rovnakého optimalizovaného modelu na Windows (OpenVINO) a mobil (.NET MAUI)
  4. Agent na volanie funkcií: Vytvorte AI agenta s funkciou volania pre scenáre na Edge

Projekty na pokročilú integráciu (4-5 hodín každý)

  1. Pipeline na optimalizáciu OpenVINO: Implementujte kompletnú optimalizáciu modelu pomocou NNCF a GenAI toolkit
  2. Pipeline SLMOps: Implementujte kompletný životný cyklus modelu od tréningu po nasadenie na Edge
  3. Systém s viacerými modelmi na Edge: Nasadenie viacerých špecializovaných modelov pracujúcich spoločne na Edge hardvéri
  4. Systém integrácie MCP: Vytvorte agentický systém pomocou Model Context Protocol na interakciu s nástrojmi

Referencie

Komunita učenia

Pripojte sa k diskusii a spojte sa s ostatnými študentmi:

Záver

EdgeAI predstavuje hranicu implementácie umelej inteligencie, prinášajúc výkonné schopnosti priamo na zariadenia a zároveň rieši kritické otázky týkajúce sa súkromia, latencie a konektivity. Tento 20-hodinový kurz vám poskytne základné znalosti a praktické zručnosti na okamžité začatie práce s technológiami EdgeAI.

Kurz je zámerne stručný a zameraný na najdôležitejšie koncepty, čo vám umožní rýchlo získať cenné odborné znalosti bez ohromujúceho časového záväzku. Pamätajte, že praktické cvičenia, aj keď sú jednoduché, sú kľúčom k upevneniu toho, čo ste sa naučili.

Šťastné učenie!

Upozornenie:
Tento dokument bol preložený pomocou služby AI prekladu Co-op Translator. Hoci sa snažíme o presnosť, prosím, berte na vedomie, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nenesieme zodpovednosť za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.
⚡