DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



C dric FOURNET LE JOIN-CALCUL : UN CALCUL POUR ... - Microsoft
C dric FOURNET LE JOIN-CALCUL : UN CALCUL POUR ... - Microsoft
11/04/2018 - www.microsoft.com
TH SE pr sent e L' COLE POLYTECHNIQUE pour obtenir le titre de DOCTEUR DE L' COLE POLYTECHNIQUE sp cialit : INFORMATIQUE par C dric FOURNET Sujet de la th se : LE JOIN-CALCUL : UN CALCUL POUR LA PROGRAMMATION R PARTIE ET MOBILE The Join-Calculus: a Calculus for Distributed Mobile Programming Soutenue le 23 Novembre 1998 devant le jury compos de : MM. Robin Milner Roberto Amadio G rard Boudol Jean-Jacques L vy G rard Berry Luca Cardelli Georges Gonthier Pr sident Rapporteurs Directeur de th...

Vers une approche simplifiée pour introduire le caractère ... - Microsoft
Vers une approche simplifiée pour introduire le caractère ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881208 Vers une approche simplifiée pour introduire le caractère incrémental dans les systèmes de dialogue Conference Paper · July 2014 CITATION READS 1 26 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 28 April 2015. The user has requested enhancement of the downloaded file. SEE PROFILE 21ème...

Microsoft K State Whitepaper 2021 08 17
Microsoft K State Whitepaper 2021 08 17
23/09/2024 - www.microsoft.com
Cloud enclave for academic research Streamlining security and compliance at your institution August 2021 Contents Introduction........................................................................................................ 3 1. Assess where you are today........................................................................ 4 Work directly with researchers to identify challenges............................................................................... 4 Identify existing compliance...

DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881756 DictaNum : système de dialogue incrémental pour la dictée de numéros. Conference Paper · July 2014 CITATIONS READS 0 57 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 06 June 2014. The user has requested enhancement of the downloaded file. 21ème...

L'économie de la sécurité - Microsoft
L'économie de la sécurité - Microsoft
16/11/2016 - www.microsoft.com
nl y se Lect L économie de la sécurité Ces dernières années, la sécurité est devenue une priorité pour les pouvoirs publics et les entreprises. Crime organisé, terrorisme, interruption des chaînes d approvisionnement mondiales, virus informatiques  autant de menaces avec lesquelles il faut compter dans le monde d aujourd hui. D où l émergence d un marché des équipements et des services de sécurité de 100 milliards de dollars. Ce marché est alimenté par la demande croissante émanant...

DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
23/08/2018 - www.microsoft.com
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com Lin Xiao Microsoft Research AI Redmond, WA 98052, USA weiyu@cs.cmu.edu Adams Wei Yu Machine Learning Department, Carnegie Mellon University Pittsburgh, PA 15213, USA qihang-lin@uiowa.edu Qihang Lin Tippie College of Business, The University of Iowa Iowa City, IA 52245, USA wzchen@microsoft.com Weizhu Chen Microsoft AI and Research Redmond, WA 98052, USA October 13,...

User-Driven Access Control: Rethinking Permission ... - CiteSeerX
User-Driven Access Control: Rethinking Permission ... - CiteSeerX
23/08/2018 - www.microsoft.com
User-Driven Access Control: Rethinking Permission Granting in Modern Operating Systems Franziska Roesner, Tadayoshi Kohno {franzi, yoshi}@cs.washington.edu University of Washington Alexander Moshchuk, Bryan Parno, Helen J. Wang {alexmos, parno, helenw}@microsoft.com Microsoft Research, Redmond Crispin Cowan crispin@microsoft.com Microsoft Abstract tionality and security for access to the user s data and resources. From a functionality standpoint, isolation inhibits the client-side manipulation...

Microsoft Modern Work Plan Comparison Education 11 2021
Microsoft Modern Work Plan Comparison Education 11 2021
14/09/2024 - www.microsoft.com
Add-on licenses Endpoint and app management Microsoft Product Terms Desktop client apps1 %? %? %? %? %? Office Mobile apps2 %? %? %? %? %? %? Install apps on up to 5 PCs/Mac + 5 tablets + 5 smartphones %?3 %? %? %?3 %? %? Office for the web %? %?
 
 

Getting started with Première utilisation Logitech® Clock Radio ...
Getting started with Première utilisation Logitech® Clock Radio ...
16/02/2012 - www.logitech.com
s400i Getting started with Première utilisation Logitech® Clock Radio Dock S400i for iPod or iPhone Logitech® Clock Radio Dock S400i s400i Getting started with Première utilisation Logitech® Clock Radio Dock S400i for iPod or iPhone 2 Logitech® Clock Radio Dock S400i Contents English Français www.logitech.com/support 4 12 31 Español 20 3 Logitech® Clock Radio Dock S400i Clock Radio Dock S400i features 12 3 Front 1. iPhone or iPod digital mobile device dock 2. Dock cover release...

COMBINÉ
COMBINÉ
19/02/2012 - www.lg.com
COMBINÉ MC-8290NB EQUIPEMENTS Capacité Programmation Type Cavité Type d'ouverture de porte litres 32 Electronique Bouton Semi-arrondie Porte latérale watts 900 OUI 5 watts 1 250 MICRO-ONDES Puissance restituée Double diffuseur d'ondes Niveaux de puissance GRIL Puissance absorbée Type de résistance Voûte QUARTZ CHALEUR PULSÉE Puissance absorbée watts 2 050 watts watts 2 550

Super tablette des tout-petits - Vtech
Super tablette des tout-petits - Vtech
09/04/2018 - www.vtech-jouets.com
Manuel d utilisation Super tablette des tout-petits TELETUBBIES and all related titles, logos and characters are trademarks of DHX Worldwide Limited. © 2016 DHX Worldwide Limited. All Rights Reserved. Teletubbies et tous les titres, logos et personnages associés sont des marques de commerce de DHX Worldwide Limited. © 2016 DHX Worldwide Limited. DHX Media®DHX Worldwide Limited. Tous droits réservés. © 2016 VTech Tous droits réservés Imprimé en Chine 91-002910-009 FR INTRODUCTION Vous...

conditions de l'offre - Epson
conditions de l'offre - Epson
07/06/2016 - www.epson.fr
Conditions générales  Offre de remboursement Sous réserve du respect des présentes conditions générales, les clients des produits Epson désignés ci-après pourront prétendre à une offre de remboursement différée sur l achat de ces produits auprès des revendeurs détaillants agréés Epson dont la liste est précisée ci-dessous. La promotion Achetez un multifonction Epson WorkForce WF-2660DWF (réf :C11CE33402) entre le 01 juin et le 30 juin 2015 et bénéficiez d une offre de remboursement...

MilleBorne(French)
MilleBorne(French)
05/04/2012 - www.hasbro.com

Les jeux DTI accessibles depuis votre Tablette Internet Multimédia ...
Les jeux DTI accessibles depuis votre Tablette Internet Multimédia ...
16/03/2012 - www.archos.com
Information presse XX février 2009 Nouveaux jeux DTI disponibles sur les ARCHOS 5 et 7 depuis l'ARCHOS Media Club DTI, une entreprise spécialiste depuis plus de 12 ans dans le domaine du jeu vidéo, s'associe à ARCHOS, leader technologique sur le marché des baladeurs et des Tablettes Internet Multimédia, afin d'offrir davantage de divertissement. Désormais, les jeux DTI sont disponibles sur le portail ARCHOS Media Club et accessibles partout dans le monde. La gamme de jeux DTI a été spécialement...