KDD 2016-zelfstudie

CNTK: Microsoft's Open-Source Deep-Learning Toolkit

KDD 2016 Hands-On Tutorial by Frank Seide and Amit Agarwal, Microsoft

Dia's die in de zelfstudie worden gebruikt

Opmerking: U moet twee grote downloads maken, het binaire CNTK-bestand (~300 MB) en de CIFAR-10-gegevensset (170 MB) en de binaire CNTK-bestanden en alle vereiste afhankelijkheden op uw computer installeren. We raden u aan dit vooraf te doen, bijvoorbeeld vanuit uw hotelkamer. Zie hieronder voor instructies.

Train neurale netwerken zoals Microsoft-productgroepen! In deze zelfstudie maakt u kennis met de Microsoft Cognitive Toolkit of CNTK, de schaalbare opensource deep learning-toolkit van Microsoft voor Windows en Linux. CNTK is een krachtige deep learning-toolkit op basis van berekeningsgrafieken voor het trainen en evalueren van deep neurale netwerken. Microsoft-productgroepen gebruiken CNTK, bijvoorbeeld om de Cortana-spraakmodellen en webclassificatie te maken.

Doelgroep en verwachting

Deze zelfstudie is gericht op huidige of toekomstige deep learning-professionals die op zoek zijn naar een hulpprogramma dat eenvoudig te gebruikenis enschaalbaar is in GPU-clusters met meerdere machines voor echte workloads.

In de zelfstudie wordt ervan uitgegaan dat u basiskennis van deep learning hebt. Deelnemers krijgen inzicht in de kernconcepten en het gebruik van CNTK en oefenen om neurale netwerktrainingen uit te voeren met CNTK voor beeldherkenning en tekstverwerking. De zelfstudie is een startpunt voor het oplossen van uw eigen echte deep learning-taak met CNTK.

Vereisten, downloaden en installatie-instructies

Als u de praktijkgerichte labsessies in de zelfstudie wilt uitvoeren, wordt een laptop of externe computer met 64-bits Windows 8.1+ of Linux vereist en wordt een GPU met CUDA-functionaliteit aanbevolen (hoe sneller des te beter). Als op uw computer Mac-OS wordt uitgevoerd, kunt u Linux uitvoeren in een Docker-container en de installatie/installatie uitvoeren die hieronder wordt beschreven in deze Docker-container.

U moet het binaire CNTK-pakket, de CIFAR-10-set en de zelfstudiebestanden, in totaal ongeveer 500 MB downloaden en installeren. Doe dit idealiter van tevoren.

  • Download en installeer de binaire CNTK-bestanden:

Op deze pagina worden de verschillende alternatieven uitgelegd voor het installeren van de Microsoft Cognitive Toolkit op uw computer. Voor het bereik van deze zelfstudie is een installatie op basis van een binaire CNTK-installatie voldoende. U hoeft CNTK niet te bouwen vanuit de broncode. voor installatie-instructies. U kunt gewoon de instructies volgen voor het downloaden van een binair installatiepakket vanaf die pagina.

Zorg er in elk geval voor dat de UITVOERbare CNTK-bestanden zijn opgenomen in uw omgeving.

Doe de praktische zelfstudies online

De twee praktische zelfstudies zijn hier geplaatst als pagina's die kunnen worden gevolgd:

ABSTRACT

In deze zelfstudie maakt u kennis met de Microsoft Cognitive Toolkit of CNTK, de geavanceerde opensource deep learning-toolkit van Microsoft voor Windows en Linux. CNTK is een krachtige deep learning-toolkit op basis van berekeningsgrafieken voor het trainen en evalueren van deep neurale netwerken. Microsoft-productgroepen gebruiken CNTK, bijvoorbeeld om de Cortana-spraakmodellen en webclassificatie te maken. CNTK ondersteunt feed-forward-, convolutionele en terugkerende netwerken voor spraak-, afbeeldings- en tekstworkloads, ook in combinatie. Populaire netwerktypen worden systeemeigen (convolutie) ondersteund of kunnen worden beschreven als een CNTK-configuratie (LSTM, sequence-to-sequence). CNTK schaalt naar meerdere GPU-servers en is ontworpen rond efficiëntie. Deze zelfstudie geeft een overzicht van de algemene architectuur van CNTK en beschrijft de specifieke methoden en algoritmen die worden gebruikt voor automatische differentiatie, terugkerende-lusdeductie en uitvoering, geheugendeling, on-the-fly randomisatie van grote corpora en parallelle uitvoering van meerdere servers. Vervolgens laten we zien hoe typisch gebruik eruitziet voor relevante taken, zoals afbeeldingsherkenning, sequentie-naar-reeksmodellering en spraakherkenning.

OVERZICHT

In de zelfstudie worden deze onderwerpen behandeld:

  • Wat is CNTK?
    • Inleiding tot rekenkundige netwerken
  • Hoe ziet een typisch gebruik van CNTK eruit?
    • Het rekennetwerk definiëren
    • I/O-gegevens configureren
    • SGD-hyperparameters
    • Typische werkstromen
  • Uitgebreide informatie over specifieke technologieën
    • Impliciete verwerking van tijd
    • Minibatching van reeksen met variabele lengte
    • Gegevensparallel trainen
  • Praktijkvoorbeelden, waaronder
    • Afbeeldingsherkenning (AlexNet, ResNet)
    • Tekstverwerking (ATIS)
  • Preview: CNTK-bibliotheek-API's voor Python en C++

BIOGRAFIEËN VAN SPREKERS

Frank Seide, geboren in Hamburg, Duitsland, is senior onderzoeker bij Microsoft Research. Zijn huidige onderzoeksfocus ligt op diepe neurale netwerken voor gespreksherkenning; samen met cocreatie Dong Yu was hij eerst om de effectiviteit van diepe neurale netwerken te tonen voor de erkenning van conversationele spraak. Gedurende zijn carrière was hij geïnteresseerd in en werkte hij aan een breed scala aan onderwerpen en onderdelen van automatische spraakherkenning, waaronder systemen voor gesproken dialoog, herkenning van Mandarijn Chinees en, met name, spraakherkenning van conversationele spraak met toepassing op audio-indexering, transcriptie en spraak-naar-spraakomzetting. Zijn huidige focus is de CNTK Deep Learning Toolkit van Microsoft.
Amit Agarwal is een hoofdsoftware-engineer bij de afdeling Technologie en Onderzoek van Microsoft. Zijn huidige focus ligt op het bouwen van CNTK, het grootschalige gedistribueerde Deep Learning-platform van Microsoft, om ongekende schaal, snelheid en capaciteit te bieden voor het trainen van enorme deep learning-modellen op enorme gegevenssets, die worden gebruikt in een breed scala aan spraak-, afbeeldings- en tekstgerelateerde deep learning-taken bij Microsoft en in de community. Amit Agarwal werkte aan een breed scala aan Microsoft-producten en bij Mentor graphics. Hij heeft 7 octrooien met betrekking tot heterogene en GPU-programmering.

REFERENTIES

[1] Amit Agarwal, Eldar Akchurin, Chris Bassole, Guoguo Chen, Scott Cyphers, Jasha Droppo, Adam Eversole, Brian Guenter, Mark Hillebrand, T. Ryan Hoens, Xuedong Huang, Rizheng Huang, Vladimir Hub, Alexey Kamenev, Philipp Kranen, Oleksii Voordoenaiev, Azure Manousek, Avner May, Bhaskar Mitra, Olivier Nano, Gaizka Navarro, Alexey Orlov, Hari Parthasarlow, Baolin Peng, Marko Radmilac, Alexey Reznichenko, Frank Seide, Michael L. Seltzer, Malcolm Slaney, Andreas Stolcke, Huaming Wang, Postvakqiang Wang, Kai afleggen Azure, Dong Yu, Yu Zhang, Azure Zweig (in alfabetische volgorde), "An Introduction to Computational Networks and the Computational Network Toolkit", Microsoft Technical Report MSR-TR-2014-112, 2014.
[2] "CNTK",

  • Last updated on