DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



L'économie de la sécurité - Microsoft
L'économie de la sécurité - Microsoft
16/11/2016 - www.microsoft.com
nl y se Lect L économie de la sécurité Ces dernières années, la sécurité est devenue une priorité pour les pouvoirs publics et les entreprises. Crime organisé, terrorisme, interruption des chaînes d approvisionnement mondiales, virus informatiques  autant de menaces avec lesquelles il faut compter dans le monde d aujourd hui. D où l émergence d un marché des équipements et des services de sécurité de 100 milliards de dollars. Ce marché est alimenté par la demande croissante émanant...

Vers une approche simplifiée pour introduire le caractère ... - Microsoft
Vers une approche simplifiée pour introduire le caractère ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881208 Vers une approche simplifiée pour introduire le caractère incrémental dans les systèmes de dialogue Conference Paper · July 2014 CITATION READS 1 26 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 28 April 2015. The user has requested enhancement of the downloaded file. SEE PROFILE 21ème...

C dric FOURNET LE JOIN-CALCUL : UN CALCUL POUR ... - Microsoft
C dric FOURNET LE JOIN-CALCUL : UN CALCUL POUR ... - Microsoft
11/04/2018 - www.microsoft.com
TH SE pr sent e L' COLE POLYTECHNIQUE pour obtenir le titre de DOCTEUR DE L' COLE POLYTECHNIQUE sp cialit : INFORMATIQUE par C dric FOURNET Sujet de la th se : LE JOIN-CALCUL : UN CALCUL POUR LA PROGRAMMATION R PARTIE ET MOBILE The Join-Calculus: a Calculus for Distributed Mobile Programming Soutenue le 23 Novembre 1998 devant le jury compos de : MM. Robin Milner Roberto Amadio G rard Boudol Jean-Jacques L vy G rard Berry Luca Cardelli Georges Gonthier Pr sident Rapporteurs Directeur de th...

DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881756 DictaNum : système de dialogue incrémental pour la dictée de numéros. Conference Paper · July 2014 CITATIONS READS 0 57 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 06 June 2014. The user has requested enhancement of the downloaded file. 21ème...

User-Driven Access Control: Rethinking Permission ... - CiteSeerX
User-Driven Access Control: Rethinking Permission ... - CiteSeerX
23/08/2018 - www.microsoft.com
User-Driven Access Control: Rethinking Permission Granting in Modern Operating Systems Franziska Roesner, Tadayoshi Kohno {franzi, yoshi}@cs.washington.edu University of Washington Alexander Moshchuk, Bryan Parno, Helen J. Wang {alexmos, parno, helenw}@microsoft.com Microsoft Research, Redmond Crispin Cowan crispin@microsoft.com Microsoft Abstract tionality and security for access to the user s data and resources. From a functionality standpoint, isolation inhibits the client-side manipulation...

Microsoft K State Whitepaper 2021 08 17
Microsoft K State Whitepaper 2021 08 17
23/09/2024 - www.microsoft.com
Cloud enclave for academic research Streamlining security and compliance at your institution August 2021 Contents Introduction........................................................................................................ 3 1. Assess where you are today........................................................................ 4 Work directly with researchers to identify challenges............................................................................... 4 Identify existing compliance...

MSR Quantum applications - Microsoft
MSR Quantum applications - Microsoft
23/08/2018 - www.microsoft.com
( What Can We Do with a Quantum Computer? ( Matthias Troyer  Station Q, ETH Zurich | 1 Classical computers have come a long way Antikythera mechanism ENIAC astronomical positions (1946) (100 BC) Kelvin s harmonic analyzer prediction of tides (1878) Difference Engine (1822) Is there anything that we cannot solve on future supercomputers? Titan, ORNL (2013) Matthias Troyer | | 2 How long will Moore s law continue? Do we see signs of the end of Moore s law? Can we go below 7nm...

1 Introduction - Microsoft
1 Introduction - Microsoft
11/04/2018 - www.microsoft.com
One-Way Accumulators: A Decentralized Alternative to Digital Signatures (Extended Abstract) Josh Benaloh Clarkson University Michael de Mare Giordano Automation Abstract This paper describes a simple candidate one-way hash function which satis es a quasi-commutative property that allows it to be used as an accumulator. This property allows protocols to be developed in which the need for a trusted central authority can be eliminated. Space-e cient distributed protocols are given for document time...
 
 

Data Sheet: Quadro M5000 - Servodata
Data Sheet: Quadro M5000 - Servodata
23/11/2016 - www.nvidia.fr
REAL INTERACTIVE EXPRESSION NVIDIA QUADRO M5000 ® ® Get real interactive expression with NVIDIA® Quadro® the world s most powerful workstation graphics. The NVIDIA Quadro M5000, accelerated by NVIDIA s Maxwell!" GPU architecture, delivers incredible performance within just 150W to let you unleash your creativity and conquer extreme workloads with ease. 8 GB of GDDR5 GPU memory with fast bandwidth allows you to create and render large, complex models and compute massive datasets with ECC...

Petits électroménagers Smeg L'AMOUR POUR LE PETIT-DEJEUNER ...
Petits électroménagers Smeg L'AMOUR POUR LE PETIT-DEJEUNER ...
29/06/2016 - www.smeg.fr
Petits électroménagers Smeg L'AMOUR POUR LE PETIT-DEJEUNER La chaleur d'une tasse de thé, l'odeur du pain fraîchement toasté et parfaitement doré, la combinaison de ses couleurs et de ses saveurs préférées : un petit-déjeuner préparé avec une touche de style et de bonne humeur est un délice pour le palais, mais aussi pour les yeux et l'âme. Le grille-pain et la bouilloire de la gamme Années 50 Smeg reflètent dans leur design tout l'amour pour la beauté et pour les petits plaisirs...

My Book® Home Edition™ Manuel d'utilisation
My Book® Home Edition™ Manuel d'utilisation
11/04/2012 - www.wdc.com
Ordinateur de bureau externe My Book Home Edition Manuel d'utilisation ® TM MANUEL D'UTILISATION DE MY BOOK HOME EDITION 1 Préliminaires Merci d'avoir acheté ce produit WD. Pour les toutes dernières informations et nouvelles sur les produits WD, visitez notre site Internet à l'adresse www.westerndigital.com. Contenu du kit · · · · · Disque dur externe à triple interface Câble USB Câble FireWire 400 (6 broches à 6 broches) Adaptateur secteur Guide d'installation rapide ® Adaptateur...

Gaming Software Guide (Mac) - Logitech
Gaming Software Guide (Mac) - Logitech
05/12/2014 - www.logitech.com
Logitech Jb2ŽßšÔ - ŠªfN-_à Logitech® Jb2ŽßšÔ ŠªfN-_à              m;RÕ & —‰w­‰ãfôYŒÇŠ ÿ   e°^úŠ-[šj” _ëQe•€   T}Näc[šR0 G “u/c ’ Š-[šj”eYz   Š“Y“u]è–Æ u‘–ãc’‰ã   fôe°bv„ŽßšÔ Logitech e/cô}²zÙ g,ŠªfN-_ÃcÐO›‘Ý Logitech Jb2‚—óŠ ˆÝnv„ŒÇŠ 0ŠËlèaÿ `¨v„ˆÝnSï€ýN&N QwP™g,ŠªfN-_ÃN-NË}9v„gÐN›RŸ€ý0ŠËSÕ±ˆÝn–¨–Dv„e‡Nö0 ©...

Creare valore stakeholder - LG Electronics
Creare valore stakeholder - LG Electronics
24/11/2014 - www.lg.com
Creare valore per i nostri stakeholder Il Codice di condotta di LG Electronics SOMMARIO INTRODUZIONE STAMPA INDIETRO Creare valore per i nostri stakeholder Il Codice di condotta di LG Electronics 2011 AVANTI "LG Way" No. 1 LG o d g n o Je t n e m e Manag lue a V g n i Creat tomers s for Cu

LDF7920
LDF7920
19/02/2012 - www.lg.com
LAVE-VAISSELLE LDF7920 LAVE-VAISSELLE LDF7920 Rendement · Fonctionnement silencieux LoDecibel MC de première qualité · Moteur profilé à entraînement direct Direct DriveMC · Système de lavage SenseCleanMC · 6 cycles de lavage avec 3 bras gicleurs · Cycle hygiénique · Lavage d'une demi-charge · Direction de l'eau multiniveau · Distributeur de détergent et d'agent de rinçage automatique · Système de séchage à condensation hybride · Chauffe-eau · Broyeur et filtre autonettoyant...