Este exemplo implementa um router mínimo + registo de ferramentas que seleciona um modelo com base no prompt do utilizador e chama o endpoint compatível com OpenAI do Foundry Local.
router.py: registo simples e roteamento heurístico; descoberta de endpoint + verificação de saúde.
cd Module08
.\.venv\Scripts\activate
REM Start whatever models you plan to route to
foundry model run phi-4-mini
foundry model run qwen2.5-7b
foundry model run deepseek-r1-7b
python samples\06\router.py "Explain how local-first AI improves privacy in two sentences."- O router utiliza heurísticas simples de palavras-chave para escolher entre as ferramentas
general,reasoningecodee imprime/v1/modelsao iniciar. - Configuração através de variáveis de ambiente:
set BASE_URL=http://localhost:8000
set API_KEY=
REM Override models per tool
set GENERAL_MODEL=phi-4-mini
set REASONING_MODEL=deepseek-r1-7b
set CODE_MODEL=qwen2.5-7b
REM Or provide a full JSON registry
set TOOL_REGISTRY={"general":{"model":"phi-4-mini"},"reasoning":{"model":"deepseek-r1-7b"},"code":{"model":"qwen2.5-7b"}}- Foundry Local (Aprender): https://learn.microsoft.com/azure/ai-foundry/foundry-local/
- Integração com SDKs de inferência: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
Aviso:
Este documento foi traduzido utilizando o serviço de tradução por IA Co-op Translator. Embora nos esforcemos para garantir a precisão, é importante notar que traduções automáticas podem conter erros ou imprecisões. O documento original na sua língua nativa deve ser considerado a fonte autoritária. Para informações críticas, recomenda-se a tradução profissional realizada por humanos. Não nos responsabilizamos por quaisquer mal-entendidos ou interpretações incorretas decorrentes da utilização desta tradução.