Skip to content

README.md

Latest commit

 

History

History
139 lines (101 loc) · 3.84 KB

README.md

File metadata and controls

139 lines (101 loc) · 3.84 KB

Ukážka 01: Rýchly chat cez OpenAI SDK

Jednoduchý príklad chatu, ktorý demonštruje použitie OpenAI SDK s Microsoft Foundry Local pre lokálnu AI inferenciu.

Prehľad

Táto ukážka ukazuje, ako:

  • Používať OpenAI Python SDK s Foundry Local
  • Spracovať konfigurácie pre Azure OpenAI aj lokálny Foundry
  • Implementovať správne spracovanie chýb a stratégie záložného riešenia
  • Používať FoundryLocalManager na správu služieb

Predpoklady

  • Foundry Local: Nainštalovaný a dostupný v PATH
  • Python: Verzia 3.8 alebo novšia
  • Model: Model načítaný vo Foundry Local (napr. phi-4-mini)

Inštalácia

  1. Nastavte Python prostredie:

    cd Module08
py -m venv .venv
.venv\Scripts\activate

  2. Nainštalujte závislosti:

    pip install -r requirements.txt

  3. Spustite službu Foundry Local a načítajte model:

    foundry model run phi-4-mini

Použitie

Foundry Local (predvolené)

# Using FoundryLocalManager (recommended)
python samples\01\chat_quickstart.py "Explain what Foundry Local is"

# Using manual configuration
set BASE_URL=http://localhost:8000
set MODEL=phi-4-mini
set API_KEY=
python samples\01\chat_quickstart.py "Write a welcome message"

Azure OpenAI

set AZURE_OPENAI_ENDPOINT=https://your-resource.openai.azure.com
set AZURE_OPENAI_API_KEY=your-api-key
set AZURE_OPENAI_API_VERSION=2024-08-01-preview
set MODEL=your-deployment-name
python samples\01\chat_quickstart.py "Hello from Azure OpenAI"

Funkcie kódu

Integrácia FoundryLocalManager

Ukážka používa oficiálne Foundry Local SDK na správu služieb:

from foundry_local import FoundryLocalManager
from openai import OpenAI

# Initialize Foundry Local
manager = FoundryLocalManager(alias)
model_info = manager.get_model_info(alias)

# Configure OpenAI client
client = OpenAI(
    base_url=manager.endpoint,
    api_key=manager.api_key
)

Spracovanie chýb

Robustné spracovanie chýb s možnosťou záložného manuálneho nastavenia:

  • Automatické vyhľadávanie služieb
  • Plynulá degradácia, ak SDK nie je dostupné
  • Jasné chybové hlásenia na riešenie problémov

Premenné prostredia

Premenná Popis Predvolené Povinné
MODEL Alias alebo názov modelu phi-4-mini Nie
BASE_URL Základná URL Foundry Local http://localhost:8000 Nie
API_KEY API kľúč (zvyčajne nie je potrebný pre lokálne použitie) "" Nie
AZURE_OPENAI_ENDPOINT Endpoint Azure OpenAI - Pre Azure
AZURE_OPENAI_API_KEY API kľúč Azure OpenAI - Pre Azure
AZURE_OPENAI_API_VERSION Verzia Azure API 2024-08-01-preview Nie

Riešenie problémov

Bežné problémy

  1. Varovanie "Nie je možné použiť Foundry SDK":

    • Nainštalujte foundry-local-sdk: pip install foundry-local-sdk
    • Alebo nastavte premenné prostredia na manuálnu konfiguráciu

  2. Odmietnuté pripojenie:

    • Uistite sa, že Foundry Local beží: foundry service status
    • Skontrolujte, či je model načítaný: foundry service ps

  3. Model nebol nájdený:

    • Zobrazte dostupné modely: foundry model list
    • Načítajte model: foundry model run phi-4-mini

Overenie

# Check Foundry Local status
foundry service status

# List loaded models
foundry service ps

# Test API endpoint
curl http://localhost:8000/v1/models

Referencie
⚡