Verkko- ja työpöytäsovellusten automatisoiminen tietokoneen avulla (esiversio)

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Tietokoneen käyttö on Copilot Studiossa oleva työkalu, jonka avulla agenttisi voi käsitellä ja automatisoida tehtäviä Windows tietokoneessa. Se toimii verkkosivustojen ja työpöytäsovellusten kanssa valitsemalla painikkeita, valitsemalla valikoita ja kirjoittamalla tekstiä näytön kenttiin. Se, mitä tietokoneen halutaan tekevään, voidaan kuvailla luonnollisella kielellä, ja tehtävä suoritetaan määritetyssä tietokoneessa käyttämällä virtuaalista hiirtä ja näppäimistöä. Käyttämällä tietokoneen käyttöä agentit voivat suorittaa tehtäviä, vaikka suoraan järjestelmään ei olisi ohjelmointirajapintaa. Jos henkilö voi käyttää sovellusta tai verkkosivustoa, myös tietokoneen käyttö voi tehdä niin. Tietokonetta voidaan käyttää tehtävissä, kuten tietojen syöttämisen automatisoinnissa, laskujen käsittely ja tietojen poimiminen.

Tietokoneen käyttö pohjautuu Computer-Using Agents (CUA) -tekoälymalliin, jossa näköominaisuuksia käytetään yhdessä edistyneen päättelyn kanssa vuorovaikutukseen graafisten käyttöliittymien (GUI) kanssa. Koska se toimii tekoälyllä, se mukautuu käyttöliittymän muutoksiin. Kun esimerkiksi painikkeet tai näytöt vaihtuvat, työkalu jatkaa toimintaansa työnkulkua rikkomatta. Se on helppokäyttöinen. Kuvaile vain, mitä haluat luonnollisella kielellä. Sinun ei tarvitse kirjoittaa koodia.

Tässä videossa kerrotaan, miten Tietokoneen käyttö -työkalu mahdollistaa agentin vuorovaikutuksen verkkosovelluksen kanssa.

Edellytykset

• Ominaisuus on käytettävissä ympäristöissä, joissa alue on määritetty Yhdysvaltoihin.

• Varmista tietokoneen käytön käyttöä varten, että agentillasi on generatiivinen orkestraattori käytössä.

Tietokoneen käytön lisääminen agenttiin

Lisää tietokoneen käyttö työkaluna uudelle agentille tai olemassa olevalle agentille Copilot Studiossa seuraavasti:

1. Siirry agenttisi Työkalut-osioon ja valitse Lisää työkalu.

2. Valitse Lisää työkalu -valintaikkunassa Uusi työkalu.

3. Valitse Tietokoneen käyttö.

4. Anna työkalulla ohjeet, jossa kuvaillaan tietokoneessa suoritettava tehtävä. Aloittamaan pääsee ohjemallien avulla. Lisätietoja tietokoneen käyttöä koskevien ohjeiden kirjoittamisesta on ohjeaiheessa Tietokoneen käyttöä koskevat parhaat käytännöt.

5. Valitse Lisää ja määritä. Konfiguraatiosivulla määritä nämä neljä kenttää:

   • Nimi: Anna tietokoneen käyttötyökalun näyttönimi. Tämä nimi auttaa sinua erottamaan sen muista asiakaspalvelijallesi lisäämistäsi työkaluista.

   • Kuvaus: Anna lyhyt kuvaus siitä, mitä tämä työkalu tekee ja milloin sitä tulee käyttää. Tämä teksti kertoo asiakaspalvelijalle, milloin tätä työkalua kannattaa käyttää.

   • Malli: Valitse malli, jolla tietokoneen käyttötyökalu suoritetaan. Tällä hetkellä tuettuja malleja ovat OpenAI:n Computer-Using Agentti ja Antropicin Claude Sonnet 4.5.

     Muistiinpano

     Antropoppinen Claude Sonnet 4.5 on parhaillaan levittäytymässä tuettujen alueiden kesken, eikä sitä ehkä vielä ole saatavilla alueellasi. Varmista, että ylläpitäjäsi on ottanut ulkoiset mallit käyttöön.

   • Ohjeet: Luettele työkalun suorittamat vaiheet, mukaan lukien URL-osoitteet ja sovellusten nimet. Vinkkejä on artikkelissa Tietokoneen käyttöä koskevat parhaat käytännöt.

6. Tutustu määrityssivulla seuraaviin ja muihin mahdollisesti oleelliset kentät ja asetukset:

   • Syötteet: Määritä syötteiden avulla dynaamisia arvoja, jotka muuttuvat aina, kun tietokoneen käyttö suoritetaan. Jos esimerkiksi haluat täyttää lomakkeen eri arvolla jokaisessa suorituksessa, luo syöte kyseiselle kentälle. Suoritushetkellä Tietokoneen käyttö yhdistää ohjeet syötearvoihin suorittaakseen tehtävän.

   • Kone: Valitse kohdekone, jota agentti käyttää tietokonekäytön suorittamiseen. Lisätietoja oikean konetyyppien valitsemisesta vaatimusten perusteella on kohdassa Tietokonekäytön suoritussijainnin määrittäminen.

     • Päivitä koneluettelo valitsemalla Päivitä.
     • Avaa tietokoneen hallintasivu Power Automate portaalissa valitsemalla Hallintakoneet.
     • Avaa tietokoneen tietosivu Power Automate portaalissa valitsemalla Näytä tietokoneen tiedot.

   • Yhteys: Työkalussa käytettävä yhteys. Muuta käytettäviä tunnistetietoja tekemällä päivitys tai luomalla uusi yhteys.

   • Käytettävät tunnistetiedot: määritä tietokonekäytön todennus suorituksen aikana:

     • Makerin tarjoamat tunnistetiedot (oletus): Tämä vaihtoehto käyttää tekijän tunnuksia ja sopii autonomisille agenteille.

       Varoitus

       Jos jaat agentin tämän asetuksen kanssa, kuka tahansa sitä käyttävä voi toimia alkuperäisen tekijän käyttöoikeuksilla konfiguroidulla koneella.

     • Käyttäjien tunnistetiedot: Tässä vaihtoehdossa käytetään agenttia käyttävän henkilön tunnistetietoja. Kullakin käyttäjällä on oltava tunnistetiedot koneen käyttämistä varten.

   • Human-valvonta: Määritä keneen tulee ottaa yhteyttä sähköpostitse (Outlook), jos tietokoneen käyttöagentti havaitsee mahdollisesti haitallisia ohjeita, jotka voivat muuttaa mallin toimintaa. Jokainen agentin suoritus ja aktiviteetti on sidottu sen aloittaneeseen käyttäjään. Jos valitset arvioijan muun kuin tietokoneen käyttöagentin käyttäjän, hän ei todennäköisesti näe toimintaa, koska hän ei ole aloittanut suoritusta. Tämän vuoksi pyynnön varmistaminen tai toteuttaminen oikein ei ole mahdollista. Varmista myös, että vastaanottaja on valtuutettu ja konteksti soveltuu kyseisten pyyntöjen käsittelemiseen. Vasteaikarajoitus määrittää, kuinka kauan pyyntö pysyy aktiivisena. Pyyntö vanhenee tämän jakson jälkeen ja tietokonekäytön suoritus pysähtyy, jos vastausta ei saada. Lisätietoja on kohdassa Ihmisen valvonta.

   • Tallennetut tunnistetiedot: Määritä tunnistetiedot, joita tietokone käyttää sivustoihin ja sovelluksiin kirjautumisessa. Jos kirjautumiskehote tulee näkyviin suorituksen aikana, tietokonekäyttö käyttää turvallisesti tunnistetietoja, jotka määritettiin kyseisen sivuston tai sovelluksen tässä osassa. Näiden tunnistetietojen salasana-arvot tallennetaan joko Power Platformin sisäiseen tallennustilaan (määritystä ei tarvita) tai antamaasi Azure Key Vault. Lisätietoja Azure Key Vaultin luomisesta on artikkelissa Avainsäilön luominen Azure-portaalin avulla.

     • Sisäinen tallennustilaasetus: Tämän asetuksen avulla voit määrittää työkalun tunnistetiedot ilman ennakkomääritystä. Salaisuudet salataan ja tallennetaan Power Platformin sisälle. Jokaisesta pätevyydestä anna seuraavat tiedot:

       • Tyyppi: valitse verkkosivuston ja työpöytäsovelluksen välillä sen mukaan, minkä pinnan aiot käyttää tätä tunnistetta
       • Käyttäjänimi: käyttäjätunnus, jolla kirjaudut kohdesivustolle tai sovellukseen.
       • Salasana: salasanan arvo, jolla kirjaudutaan kohdesivustolle tai sovellukseen.

       Muistiinpano

       Salasanakenttiä tuetaan kaikissa sivustoissa ja useimmissa Windows sovelluksissa (WinForms, WPF, UWP, WinUI, Win32), jotka kattavat useimmat asiakasskenaariot. Joitakin sovellustyyppejä, kuten Electron, Java, Unity, pelejä, komentoriviliittymiä, Citrixia tai muita virtualisoituja ympäristöjä, ei välttämättä tueta.

       • Kirjautumistoimialue (sivustot) tai työpöytäsovelluksen nimi (työpöytäsovellukset):
         • Verkkosivustot: Anna verkkosivuston pääosoite (esimerkiksi example.com). Sisällytät automaattisesti kaikki sivuston sivut. Myös alitoimialueet voidaan sisällyttää yleismerkkien (*) avulla. Esimerkkejä: www.contoso.com, *.contoso.com, contoso.com
         • Työpöytäsovellukset: Anna sovelluksen tuotenimi tai prosessin nimi. Voit etsiä sen avaamalla tehtävienhallinnan näppäinyhdistelmällä Ctrl+vaihto+Esc. Valitse sitten Prosessit-välilehti . Esimerkkejä: Microsoft Edge, msedge, Notepad.

     • Azure Key Vault option: Tämän asetuksen avulla voit määrittää työkalussa tunnistetiedot antamalla ensin tilaustunnuksen, resurssiryhmän nimen ja Key Vault nimen. Kaikki nämä tiedot löytyvät Key Vaultin Yleiskatsaus-sivulta .

       • Azure Key Vault salaisten koodien käyttäminen Power Platformissa:

         • Säilöä sisältävässä Azure tilauksessa on oltava PowerPlatform-resurssipalvelu rekisteröity.
         • Käyttäjällä, joka luo ympäristömuuttujan, on oltava asianmukaiset käyttöoikeudet Azure Key Vault resurssiin.

       • Jos et ole vielä tehnyt niin, noudata Azure Key Vaultin määrittäminen -kohdan ohjeita ja anna sitten seuraavat tiedot:

         • Käyttäjänimi: käyttäjätunnus, jolla kirjaudut kohdesivustolle tai sovellukseen.
         • Azuren salasana: salaisen koodin nimi Key Vaultissa, joka tallentaa sivuston tai sovelluksen salasanan
         • Kirjautumistoimialue (sivustot) tai työpöytäsovelluksen nimi (työpöytäsovellukset):
           • Verkkosivustot: Anna verkkosivuston pääosoite (esimerkiksi example.com). Sisällytät automaattisesti kaikki sivuston sivut. Myös alitoimialueet voidaan sisällyttää yleismerkkien (*) avulla. Esimerkkejä: www.contoso.com, *.contoso.com, contoso.com
           • Työpöytäsovellukset: Anna sovelluksen tuotenimi tai prosessin nimi. Voit etsiä sen avaamalla tehtävienhallinnan näppäinyhdistelmällä Ctrl+vaihto+Esc. Valitse sitten Prosessit-välilehti . Esimerkkejä: Microsoft Edge, msedge, Notepad.

   • Käyttöoikeuksien valvonta: Tietokoneen käyttö voi oletusarvoisesti toimia missä tahansa sivustossa tai sovelluksessa. Tätä käyttöoikeutta voidaan rajoittaa ottamalla käyttöön käyttöoikeuksien hallinnan sekä määrittämällä, mihin URL-osoitteisiin ja työpöytäsovelluksiin tietokonekäyttö on rajoitettava. Sekä sivustot että sovellukset voidaan määrittää:

     • Verkkosivustot: Anna verkkosivuston pääosoite (esimerkiksi example.com). Sisällytät automaattisesti kaikki sivuston sivut. Myös alitoimialueet voidaan sisällyttää yleismerkkien (*) avulla. Esimerkkejä: www.contoso.com, *.contoso.com, contoso.com
     • Työpöytäsovellukset: Anna sovelluksen tuotenimi tai prosessin nimi. Voit etsiä sen avaamalla tehtävienhallinnan näppäinyhdistelmällä Ctrl+vaihto+Esc. Valitse sitten Prosessit-välilehti . Esimerkkejä: Microsoft Edge, msedge, Notepad.

     Muistiinpano

     Käyttöoikeuksien hallinta estää mallia toimimasta vain verkkosivuilla tai sovelluksissa, jotka eivät ole sallittujen listalla. Se ei estä mallia avaamasta niitä. Jos esimerkiksi sallittujen luettelossa on vain microsoft.com ja Microsoft Edge, malli voi edelleen avata Bingin Edge-hakupalkin avulla. Kuitenkin, kun Bing avataan, kaikki yritykset olla vuorovaikutuksessa sen kanssa epäonnistuvat, koska sitä ei ole sallittujen listalla.

7. Valitse Tallenna.

Tietokoneen käytön testaaminen

Tietokonekäytön testaaminen on tärkeä laatimissiirtymän vaihe. Kun olet antanut nimen, kuvauksen ja ohjeet ja tallentanut työkalun, aloita testikokemus valitsemalla Testaa .

Lyhyen latausajan jälkeen testikokemus tulee näkyviin:

• Vasemmassa paneelissa näkyvät ohjeet sekä vaiheittainen loki työkalun perusteluista ja toimista.
• Oikeanpuoleisessa paneelissa näkyy esikatselu tietokoneen käyttöä varten määritetyllä tietokoneella tapahtuvista toiminnoista.

Kun tehtävä on valmis, näet Valmis testi - sanoman. Kun testi on käynnissä, voit lopettaa kaikki tietokoneen toiminnot valitsemalla Lopeta testaus .

Jos tulos ei vastaa odotuksiasi, siirry määrityssivulle ja tarkenna ohjeita. Lisää yksityiskohtia tarkkuuden parantamiseksi. Katso ohjeita artikkelista Parhaiden käytäntöjen noudattaminen tehokkaiden ohjeiden kirjoittamiseen.

Tietokoneen käytön sisältävän agentin julkaiseminen

Aseta tietokoneen käyttö ja julkaise sitten agenttisi. Agentin suoritustapa määräytyy skenaarion mukaan. Se voi olla itsenäinen tai keskusteleva:

• Itsenäiset agentit toimivat automaattisesti ja suorittavat tehtäviä taustalla.
• Keskustelevien agenttien avulla käyttäjät voivat olla vuorovaikutuksessa Microsoft Teams kaltaisten kanavien kautta.

Tietokoneen käyttö toimii parhaiten itsenäisten agenttien yhteydessä suorittaen tehtäviä taustalla ilman vuorovaikutusta käyttäjien kanssa.

Vaikka tietokonekäyttöä voi nyt käyttää keskustelukokemuksissa, seuraavat on syytä muistaa:

• Jos valitset todennusasetukseksi Käyttäjätodentaminen , kaikki keskustelussa agentin kanssa vuorovaikutuksessa olevat käyttäjät tarvitsevat tietokoneen käyttämän tietokoneen käyttämän tietokoneen kelvolliset tunnistetiedot.
• Kun työkalu suoritetaan, se jakaa päättelyviestejä ja kuvakaappauksia koneen toiminnasta chatissa.

Parhaat käytännöt

Tuottavuuden ja suojauksen varmistaminen nykypäivän digitaalisissa ympäristöissä edellään tietokonekäytön parhaiden käytäntöjen noudattamista etenkin kirjoittaessa selkeitä ohjeita ja suojattaessa koneita.

Koneiden suojauksen parhaat käytännöt

Seuraava tietoturvasuositukset kannattaa ottaa huomioon määritettäessä koneita tietokonekäyttöä varten, kun tekoäly saa suorittaa tehtäviä luonnollisen kielen pohjalta:

Tietokoneen käyttöohjeiden parhaat käytännöt

Kirjoittamasi ohjeet määrittävät, kuinka hyvin tietokoneen käyttö toimii. Tarkat, yksityiskohtaiset ohjeet auttavat tietokoneen käyttöä suorittamaan tehtäviä tarkasti. Ajattele sitä tehtävän selittämisenä kollegalle. Selkeät, vaiheittaiset ohjeet auttavat varmistamaan onnistumisen.

Vinkkejä tehokkaiden ohjeiden kirjoittamiseen:

• Ole tarkka verkkosivustojen ja sovellusten suhteen. Sisällytä aina minkä tahansa verkkosivuston täydellinen URL-osoite ja työkalun käyttämien sovellusten tarkka nimi. Esimerkki: Avaa https://www.microsoft.com ja siirry kohtaan 'Yritysuutiset'.

• Ilmoita selkeästi asiaankuuluvat toimet. Jos haluat jotain tehdä, sano se eksplisiittisesti toiminnoissa, kuten lomakkeen lähettämisessä tai sähköpostiviestin lähettämisessä. Esimerkki: Kun täytät lomakkeen, valitse Lähetä. Ei tarvitse pyytää lupaa.

• Pura monimutkaiset vuorovaikutukset. Jos käyttöliittymässä siirtyminen voi olla monimutkaisempaa, selitä jokainen vaihe yksityiskohtaisesti. Esimerkki: Valitse More-kuvake oikeasta yläkulmasta. Alasvetovalikko ilmestyy. Kun se avautuu, valitse listan viimeinen kohde.

• Käytä vaiheittaista muotoilua pidemmille tehtäville. Pitkiä ohjeita on helpompi noudattaa, kun muotoilet ne luetteloksi.

Esimerkkiohjeet

Tutustu näihin esimerkkiohjeisiin kokeillaksesi tietokoneen käyttöä tai käyttääksesi niitä viitteenä omien ohjeidesi kirjoittamisessa.

Tietojen poiminnan parhaat käytännöt

Tietoja voidaan noutaa tietokoneella sivustoista ja sovelluksista, jonka jälkeen ne välitetään agentille tai muille agentin työkaluille. Voit tehdä tämän kuvailemalla, mitä tietoja haluat poimia, suoraan tietokoneen käyttöohjeisiin.

Jos haluat käyttää poimittuja tietoja toisen työkalun kanssa (esimerkiksi lähettää ne sähköpostitse), määritä kyseinen tarve agenttiohjeissa ja varmista, että lisäät molemmat työkalut agenttiin. Esimerkki: Tietokoneen avulla voit poimia taloussalkun koontinäytön asiakastiedot ja lähettää poimitut tiedot sähköpostitse. Tässä tapauksessa agentin on sisällytettävä sekä tietokoneen käyttötyökalu että sähköpostityökalu .

Arvojen poiminta tekstinä

Tietokonekäyttö voidaan ohjeistaa poimimaan tietyt arvot ja palauttamaan ne vain teksti -muodossa. Esimerkiksi seuraava kehote poimii salkunhoitajan ja salkun arvon asiakkaalle, Fourth Coffeelle:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Agentti palauttaa tekstinä vain kaksi pyydettyä arvoa.

Arvojen poiminta JSON-muodossa

Tietokonekäyttöä voidaan pyytää palauttamaan poimitut tiedot myös JSON-muodossa. Tämä muoto on kätevä, jos jäsennettyjä tietoja välitetään toiseen työkaluun. Seuraava esimerkki poimii salkun kaikki Contosoon liittyvät rivit ja palauttaa ne oikein muotoillussa JSON-muodossa:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Tämä menetelmä varmistaa, että tulos on jäsennetty.

Käyttöoikeudet

Kun tietokoneen käyttö on esikatseluvaiheessa, palvelu laskuttaa Agentti-toiminnolla viiden Copilot-saldon mukaan. Lisätietoja on kohdassa Microsoft Copilot Studio laskutusaste ja hallinta.

Jokainen tietokoneen käyttö perustuu tekoälymalliin, joka suorittaa sarjan vaiheita. Vaihe voi sisältää yhden tai useamman alemman tason toiminnon, kuten napsautuksen, kirjoittamisen tai navigoimisen. Jokainen vaihe kuluttaa 5 Copilot-krediittiä.

Jos esimerkiksi määrität tietokoneen käytön verkkopohjaisen työaikaraporttilomakkeen täyttämiseen, toiminto voi suorittaa seuraavat vaiheet:

1. Käynnistä selain ja siirry työaikakirjausportaaliin.

2. Valitse Luo uusi työaikaraportti.

3. Täytä alkamisaika-, Päättymisaika- ja Projektikoodi-kentät .

4. Valitse Lähetä-painike .

Tässä esimerkissä tietokoneen käyttö suorittaa neljä vaihetta, jotka kuluttavat yhteensä 20 Copilot-saldoa.

Anna palautetta

Onko sinulla palautetta tietokoneen käytöstä? Ilmoita meille osoitteessa computeruse-feedback@microsoft.com.

Liittyvät tiedot

Usein kysytyt kysymykset tietokoneen käyttötyökalusta