Referentie voor Foundry Local SDK

Naslaginformatie voor C# SDK

Pakketten installeren

Als u op Windows ontwikkelt of verzendt, selecteert u het tabblad Windows. Het Windows-pakket kan worden geïntegreerd met de Windows ML runtime. Het biedt hetzelfde API-oppervlak met een grotere breedte van hardwareversnelling.

dotnet add package Microsoft.AI.Foundry.Local.WinML
dotnet add package OpenAI

dotnet add package Microsoft.AI.Foundry.Local
dotnet add package OpenAI

De C#-voorbeelden in de GitHub opslagplaats zijn vooraf geconfigureerde projecten. Als u helemaal opnieuw bouwt, leest u de referentie voor de Local SDK van Foundry voor meer informatie over het instellen van uw C#-project met Foundry Local.

configuratie van Project

De voorbeeldopslagplaatsen bevatten een .csproj bestand waarmee platformdetectie automatisch wordt verwerkt. Als u een volledig nieuw project bouwt, gebruikt u deze configuratie als referentie:

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>
  </PropertyGroup>

  <!-- Windows: target Windows SDK for WinML hardware acceleration -->
  <PropertyGroup Condition="$([MSBuild]::IsOSPlatform('Windows'))">
    <TargetFramework>net9.0-windows10.0.26100</TargetFramework>
    <WindowsAppSDKSelfContained>false</WindowsAppSDKSelfContained>
    <Platforms>ARM64;x64</Platforms>
    <WindowsPackageType>None</WindowsPackageType>
    <EnableCoreMrtTooling>false</EnableCoreMrtTooling>
  </PropertyGroup>

  <!-- Non-Windows: standard .NET -->
  <PropertyGroup Condition="!$([MSBuild]::IsOSPlatform('Windows'))">
    <TargetFramework>net9.0</TargetFramework>
  </PropertyGroup>

  <PropertyGroup Condition="'$(RuntimeIdentifier)'==''">
    <RuntimeIdentifier>$(NETCoreSdkRuntimeIdentifier)</RuntimeIdentifier>
  </PropertyGroup>

  <!-- Windows: WinML for hardware acceleration -->
  <ItemGroup Condition="$([MSBuild]::IsOSPlatform('Windows'))">
    <PackageReference Include="Microsoft.AI.Foundry.Local.WinML" />
  </ItemGroup>

  <!-- Non-Windows: standard SDK -->
  <ItemGroup Condition="!$([MSBuild]::IsOSPlatform('Windows'))">
    <PackageReference Include="Microsoft.AI.Foundry.Local" />
  </ItemGroup>

  <!-- Linux GPU support -->
  <ItemGroup Condition="'$(RuntimeIdentifier)' == 'linux-x64'">
    <PackageReference Include="Microsoft.ML.OnnxRuntime.Gpu" />
    <PackageReference Include="Microsoft.ML.OnnxRuntimeGenAI.Cuda" />
  </ItemGroup>

  <!-- Shared utilities -->
  <ItemGroup>
    <Compile Include="../Shared/*.cs" />
  </ItemGroup>

</Project>

In de volgende tabel worden de belangrijkste projectinstellingen uitgelegd:

Snelstart

Gebruik dit codefragment om te controleren of de SDK de lokale modelcatalogus kan initialiseren en openen.

using Microsoft.AI.Foundry.Local;
using Microsoft.Extensions.Logging;
using System.Linq;

var config = new Configuration
{
  AppName = "app-name",
  LogLevel = Microsoft.AI.Foundry.Local.LogLevel.Information,
};

using var loggerFactory = LoggerFactory.Create(builder =>
{
  builder.SetMinimumLevel(Microsoft.Extensions.Logging.LogLevel.Information);
});
var logger = loggerFactory.CreateLogger<Program>();

await FoundryLocalManager.CreateAsync(config, logger);
var manager = FoundryLocalManager.Instance;

var catalog = await manager.GetCatalogAsync();
var models = await catalog.ListModelsAsync();

Console.WriteLine($"Models available: {models.Count()}");

In dit voorbeeld wordt het aantal modellen afgedrukt dat beschikbaar is voor uw hardware.

Voorbeelden

• Zie de Foundry Local C# SDK Samples GitHub repository voor voorbeeldtoepassingen die laten zien hoe u de Lokale C#-SDK van Foundry gebruikt.

API-referentie

• Voor meer informatie over de Foundry Local C# SDK lees Foundry Local C# SDK API Reference.

Systeemeigen audiotranscriptie-API

De C#SDK bevat een systeemeigen audioclient voor het transcriberen van audiobestanden op het apparaat met behulp van Whisper-modellen. Hiermee wordt deductie in-proces uitgevoerd zonder dat u de REST-webserver nodig hebt.

Een audioclient ophalen

Nadat u een Whisper-model hebt geladen, verkrijgt u een audioclient:

var audioClient = await model.GetAudioClientAsync();

Audio-transcriptiemethoden

AudioClient-instellingen

Voorbeeld

var audioClient = await model.GetAudioClientAsync();
audioClient.Settings.Language = "en";
audioClient.Settings.Temperature = 0.0f;

await foreach (var chunk in audioClient.TranscribeAudioStreamingAsync(
    "recording.mp3", CancellationToken.None))
{
    Console.Write(chunk.Text);
}

Referenties:

• Audiobestanden transcriberen met Foundry Local

JavaScript SDK Referentie

Pakketten installeren

Als u op Windows ontwikkelt of verzendt, selecteert u het tabblad Windows. Het Windows-pakket kan worden geïntegreerd met de Windows ML runtime. Het biedt hetzelfde API-oppervlak met een grotere breedte van hardwareversnelling.

npm install foundry-local-sdk-winml openai

npm install foundry-local-sdk openai

Snelstart

Gebruik dit codefragment om te controleren of de SDK de lokale modelcatalogus kan initialiseren en openen.

import { FoundryLocalManager } from 'foundry-local-sdk';

console.log('Initializing Foundry Local SDK...');

const manager = FoundryLocalManager.create({
    appName: 'foundry_local_samples',
    logLevel: 'info'
});
console.log('✓ SDK initialized successfully');

// Explore available models
console.log('\nFetching available models...');
const catalog = manager.catalog;
const models = await catalog.getModels();

console.log(`Found ${models.length} models:`);
for (const model of models) {
    console.log(`  - ${model.alias}`);
}

In dit voorbeeld wordt de lijst met beschikbare modellen voor uw hardware uitgevoerd.

Voorbeelden

• Zie de Foundry Local JavaScript SDK Samples GitHub repository voor voorbeeldtoepassingen die laten zien hoe u de Lokale JavaScript SDK voor Foundry gebruikt.

API-referentie

• Voor meer informatie over de Foundry Local JavaScript SDK lees Foundry Local JavaScript SDK API Reference.

Verwijzingen

• Integreren met deductie-SDK's
• Gebruik de Foundry Local-native API voor chat-voltooiingen

Python SDK Referentie

Pakketten installeren

Als u op Windows ontwikkelt of verzendt, selecteert u het tabblad Windows. Het Windows-pakket kan worden geïntegreerd met de Windows ML runtime. Het biedt hetzelfde API-oppervlak met een grotere breedte van hardwareversnelling.

pip install foundry-local-sdk-winml openai

pip install foundry-local-sdk openai

Snelstart

Gebruik dit codefragment om te controleren of de SDK de lokale modelcatalogus kan initialiseren en openen.

import asyncio
from foundry_local_sdk import Configuration, FoundryLocalManager


async def main():
    config = Configuration(app_name="app-name")
    FoundryLocalManager.initialize(config)
    manager = FoundryLocalManager.instance

    models = manager.catalog.list_models()
    print(f"Models available: {len(models)}")


if __name__ == "__main__":
    asyncio.run(main())

In dit voorbeeld wordt het aantal modellen afgedrukt dat beschikbaar is voor uw hardware.

Voorbeelden

• Zie de Foundry Local SDK Samples GitHub repository voor voorbeeldtoepassingen die laten zien hoe u de Foundry Local Python SDK gebruikt.

Configuratie

Met Configuration de klasse kunt u het SDK-gedrag aanpassen:

from foundry_local_sdk import Configuration

config = Configuration(
    app_name="app-name",
    log_level="info",
    model_cache_dir="./foundry_local_data/model_cache",
    web={"urls": "http://127.0.0.1:55588"},
)

Kern-API

API voor Native Chat-voltooieningen

Nadat u een model hebt geladen, haalt u een chatclient op:

client = model.get_chat_client()

Systeemeigen audiotranscriptie-API

Nadat u een Whisper-model hebt geladen, verkrijgt u een audioclient:

audio_client = model.get_audio_client()

Referenties:

• Audiobestanden transcriberen met Foundry Local
• Gebruik de Foundry Local-native API voor chat-voltooiingen
• Chatvoltooiingen gebruiken via REST-server

Referentie Rust-SDK

Pakketten installeren

Als u op Windows ontwikkelt of verzendt, selecteert u het tabblad Windows. Het Windows-pakket kan worden geïntegreerd met de Windows ML runtime. Het biedt hetzelfde API-oppervlak met een grotere breedte van hardwareversnelling.

cargo add foundry-local-sdk --features winml
cargo add tokio --features full
cargo add tokio-stream anyhow

cargo add foundry-local-sdk
cargo add tokio --features full
cargo add tokio-stream anyhow

Snelstart

Gebruik dit codefragment om te controleren of de SDK de lokale modelcatalogus kan initialiseren en openen.

use foundry_local_sdk::{FoundryLocalConfig, FoundryLocalManager};

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    let manager = FoundryLocalManager::create(FoundryLocalConfig::new("app-name"))?;

    let models = manager.catalog().get_models().await?;
    println!("Models available: {}", models.len());

    Ok(())
}

In dit voorbeeld wordt het aantal modellen afgedrukt dat beschikbaar is voor uw hardware.

Voorbeelden

• Zie de Foundry Local SDK samples GitHub voor voorbeeldtoepassingen die laten zien hoe u de Foundry Local Rust SDK gebruikt.

Configuratie

Met de FoundryLocalConfig struct kunt u het SDK-gedrag aanpassen:

use foundry_local_sdk::FoundryLocalConfig;

let config = FoundryLocalConfig::new("app-name")
    .with_log_level("info")
    .with_model_cache_dir("./foundry_local_data/model_cache")
    .with_web_urls("http://127.0.0.1:55588");

Kern-API

API voor Native Chat-voltooieningen

Nadat u een model hebt geladen, maakt u een chatclient met optionele instellingen:

let client = model.create_chat_client()
    .temperature(0.7)
    .max_tokens(256);

Berichttypen: ChatCompletionRequestSystemMessage, ChatCompletionRequestUserMessage, ChatCompletionRequestMessage.

Systeemeigen audiotranscriptie-API

Nadat u een Whisper-model hebt geladen, maakt u een audioclient:

let audio_client = model.create_audio_client();

Referenties:

• Audiobestanden transcriberen met Foundry Local
• Gebruik de Foundry Local-native API voor chat-voltooiingen
• Chatvoltooiingen gebruiken via REST-server