DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
23/08/2018 - www.microsoft.com
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com Lin Xiao Microsoft Research AI Redmond, WA 98052, USA weiyu@cs.cmu.edu Adams Wei Yu Machine Learning Department, Carnegie Mellon University Pittsburgh, PA 15213, USA qihang-lin@uiowa.edu Qihang Lin Tippie College of Business, The University of Iowa Iowa City, IA 52245, USA wzchen@microsoft.com Weizhu Chen Microsoft AI and Research Redmond, WA 98052, USA October 13,...

Microsoft K State Whitepaper 2021 08 17
Microsoft K State Whitepaper 2021 08 17
23/09/2024 - www.microsoft.com
Cloud enclave for academic research Streamlining security and compliance at your institution August 2021 Contents Introduction........................................................................................................ 3 1. Assess where you are today........................................................................ 4 Work directly with researchers to identify challenges............................................................................... 4 Identify existing compliance...

MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
22/05/2017 - www.microsoft.com
MatrixExplorer: Un système pour l analyse exploratoire de réseaux sociaux Nathalie Henry Jean-Daniel Fekete INRIA Futurs/LRI/University of Sydney Bât 490, Université Paris-Sud 91405 Orsay Cedex Nathalie.Henry@lri.fr INRIA Futurs/LRI Bât 490, Université Paris-Sud 91405 Orsay Cedex Jean-Daniel.Fekete@inria.fr RESUME ABSTRACT Dans cet article, nous présentons le système MatrixExplorer destiné à explorer des réseaux sociaux. Il a été conçu pour des chercheurs en sciences sociales...

C dric FOURNET LE JOIN-CALCUL : UN CALCUL POUR ... - Microsoft
C dric FOURNET LE JOIN-CALCUL : UN CALCUL POUR ... - Microsoft
11/04/2018 - www.microsoft.com
TH SE pr sent e L' COLE POLYTECHNIQUE pour obtenir le titre de DOCTEUR DE L' COLE POLYTECHNIQUE sp cialit : INFORMATIQUE par C dric FOURNET Sujet de la th se : LE JOIN-CALCUL : UN CALCUL POUR LA PROGRAMMATION R PARTIE ET MOBILE The Join-Calculus: a Calculus for Distributed Mobile Programming Soutenue le 23 Novembre 1998 devant le jury compos de : MM. Robin Milner Roberto Amadio G rard Boudol Jean-Jacques L vy G rard Berry Luca Cardelli Georges Gonthier Pr sident Rapporteurs Directeur de th...

MSR Quantum applications - Microsoft
MSR Quantum applications - Microsoft
23/08/2018 - www.microsoft.com
( What Can We Do with a Quantum Computer? ( Matthias Troyer  Station Q, ETH Zurich | 1 Classical computers have come a long way Antikythera mechanism ENIAC astronomical positions (1946) (100 BC) Kelvin s harmonic analyzer prediction of tides (1878) Difference Engine (1822) Is there anything that we cannot solve on future supercomputers? Titan, ORNL (2013) Matthias Troyer | | 2 How long will Moore s law continue? Do we see signs of the end of Moore s law? Can we go below 7nm...

Architectures reconfigurables et traitement de proble`mes ... - Microsoft
Architectures reconfigurables et traitement de proble`mes ... - Microsoft
16/11/2016 - www.microsoft.com
RECHERCHE Architectures reconfigurables et traitement de proble`mes NP-difficiles : un nouveau domaine d application Youssef Hamadi    David Merceron  '  ' LIRMM, UMR 5506 CNRS/Universite´ Montpellier II 161, Rue Ada, 34392 Montpellier Cedex 5 hamadi@lirmm.fr ''' EURIWARE, 12-14 rue du fort de St-Cyr 78067 St Quentin-en-Yvelines Cedex damercer@euriware.fr RE´SUME´. L algorithme GSAT est un algorithme de recherche locale. Cette me´thode recherche la premie`re instanciation...

D6. 4: Final evaluation of CLASSiC TownInfo and ... - Microsoft
D6. 4: Final evaluation of CLASSiC TownInfo and ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/228835240 D6. 4: Final evaluation of CLASSiC TownInfo and Appointment Scheduling systems Article · May 2011 CITATIONS READS 15 56 11 authors, including: Helen Hastie Filip Jurcicek Heriot-Watt University Charles University in Prague 105 PUBLICATIONS 858 CITATIONS 55 PUBLICATIONS 439 CITATIONS SEE PROFILE SEE PROFILE Oliver Joseph Lemon Steve Young Heriot-Watt University University of Cambridge 323 PUBLICATIONS 3,678 CITATIONS 310 PUBLICATIONS 14,308 CITATIONS SEE PROFILE SEE PROFILE Some of the authors of this publication are also working on these related projects: MaDrIgAL: Multi-Dimensional Interaction management and Adaptive Learning View project ...

1 Introduction - Microsoft
1 Introduction - Microsoft
11/04/2018 - www.microsoft.com
One-Way Accumulators: A Decentralized Alternative to Digital Signatures (Extended Abstract) Josh Benaloh Clarkson University Michael de Mare Giordano Automation Abstract This paper describes a simple candidate one-way hash function which satis es a quasi-commutative property that allows it to be used as an accumulator. This property allows protocols to be developed in which the need for a trusted central authority can be eliminated. Space-e cient distributed protocols are given for document time...
 
 

Rugged Combo 3 Touch Classroom Best Practices
Rugged Combo 3 Touch Classroom Best Practices
25/09/2024 - www.logitech.com
RUGGED COMBO 3 TOUCH CLASSROOM BEST PRACTICES Get the most out of your Rugged Combo 3 with these tips: DO " Take similar care of iPad as you would with a laptop " Close the case with the magnetic latch in place when not in use DON'T " Intentionally damage the case " Place objects between the iPad and keyboard when closing the case as it can damage the screen and/or keyboard TROUBLESHOOTING If the Rugged Combo 3 Touch keyboard is not typing when connected to the Smart Connector, try these solutions: ...

201811 Valeo.xlsx
201811 Valeo.xlsx
29/05/2020 - www.valeo.com
AMF2017! Formulaire type de declaration des programmes de rachats Ce formulaire constitue l-annexe 3 de l-instruction AMF n°2005-06 relative aux modalites de declaration des programmes de rachat des actions propres et des operations de stabilisation SIREN : 552030967 Denomination sociale de l-emetteur : LEI : 5493006IH2N2WMIBB742 Valeo SA Nature des titres (nom du titre + caracteristiques : ADP, CCI &) Actions ordinaires Date de debut du programme TABLEAU DE DECLARATION MENSUELLE DES OPERATIONS...

REGLEMENT « CONCOURS OUVRE TES OREILLES - Sony
REGLEMENT « CONCOURS OUVRE TES OREILLES - Sony
17/11/2014 - www.sony.fr
REGLEMENT « CONCOURS OUVRE TES OREILLES » Article 1 : Société organisatrice La société Sony Europe Limited, société constituée et régie par le droit anglais, immatriculée auprès du « Registrar of Companies for England and Wales" sous le numéro 2422874 dont le siège social est The Heights, Brooklands, Weybridge, Surrey, KT13 0XW, Royaume-Uni, prise en sa succursale Sony France, RCS Nanterre 390 711 323, ayant pour adresse principale le 49-51 Quai de Dion Bouton 92800 Puteaux, organise...

TG-820 TG-620 - OLYMPUS LEARN CENTER
TG-820 TG-620 - OLYMPUS LEARN CENTER
07/09/2018 - www.olympus.fr
APPAREIL PHOTO NUMÉRIQUE TG-820 TG-620 Manuel d instructions %Ï Nous vous remercions d avoir acheté un appareil photo numérique Olympus. Avant de commencer à utiliser votre nouvel appareil photo, veuillez lire attentivement ces instructions afin d optimiser ses performances et sa durée de vie. Conservez ce manuel dans un endroit sûr pour pouvoir vous y référer ultérieurement. %Ï Nous vous recommandons de prendre des photos-test pour vous habituer à votre appareil avant de commencer...

Abonnez-vous et profitez de la meilleure sélection du « Box Office ...
Abonnez-vous et profitez de la meilleure sélection du « Box Office ...
16/03/2012 - www.archos.com
Information presse Igny, le 13 novembre 2007 Abonnez-vous et profitez de la meilleure sélection du « Box Office » sur votre ARCHOS ! ARCHOS, leader sur le marché des baladeurs multimédia, lance l'ARCHOS MEDIA CLUB, son offre d'abonnement VOD, qui permet à l'utilisateur d'acquérir un ARCHOS 605 WiFi 4Go*, une DVR Station Gen 5 et de sélectionner 2 films par mois dans la bibliothèque de contenus pour seulement 1 + 19,99 par mois. L'ARCHOS Média Club vient compléter l'offre de vidéo à...

INSTRUKCJA UZYTKOWANIA
INSTRUKCJA UZYTKOWANIA
20/03/2015 - docs.whirlpool.eu
INSTRUKCJA U{YTKOWANIA PORADY DOTYCZCE OCHRONY ZRODOWISKA OSTRZE{ENIA PRZED PRZYSTPIENIEM DO EKSPLOATACJI PIEKARNIKA AKCESORIA PIEKARNIKA CZYSZCZENIE I KONSERWACJA USUWANIE USTEREK SERWIS TECHNICZNY Aby w peBni korzysta z mo|liwo[ci piekarnika, nale|y uwa|nie zapozna si ze wszystkimi instrukcjami i zachowa je na przyszBo[. 4 PORADY DOTYCZCE OCHRONY ZRODOWISKA Symbol umieszczony na produkcie lub na doBczonych do niego dokumentach oznacza, |e niniejszy produkt nie...