DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



User-Driven Access Control: Rethinking Permission ... - CiteSeerX
User-Driven Access Control: Rethinking Permission ... - CiteSeerX
23/08/2018 - www.microsoft.com
User-Driven Access Control: Rethinking Permission Granting in Modern Operating Systems Franziska Roesner, Tadayoshi Kohno {franzi, yoshi}@cs.washington.edu University of Washington Alexander Moshchuk, Bryan Parno, Helen J. Wang {alexmos, parno, helenw}@microsoft.com Microsoft Research, Redmond Crispin Cowan crispin@microsoft.com Microsoft Abstract tionality and security for access to the user s data and resources. From a functionality standpoint, isolation inhibits the client-side manipulation...

MSR Quantum applications - Microsoft
MSR Quantum applications - Microsoft
23/08/2018 - www.microsoft.com
( What Can We Do with a Quantum Computer? ( Matthias Troyer  Station Q, ETH Zurich | 1 Classical computers have come a long way Antikythera mechanism ENIAC astronomical positions (1946) (100 BC) Kelvin s harmonic analyzer prediction of tides (1878) Difference Engine (1822) Is there anything that we cannot solve on future supercomputers? Titan, ORNL (2013) Matthias Troyer | | 2 How long will Moore s law continue? Do we see signs of the end of Moore s law? Can we go below 7nm...

DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
23/08/2018 - www.microsoft.com
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com Lin Xiao Microsoft Research AI Redmond, WA 98052, USA weiyu@cs.cmu.edu Adams Wei Yu Machine Learning Department, Carnegie Mellon University Pittsburgh, PA 15213, USA qihang-lin@uiowa.edu Qihang Lin Tippie College of Business, The University of Iowa Iowa City, IA 52245, USA wzchen@microsoft.com Weizhu Chen Microsoft AI and Research Redmond, WA 98052, USA October 13,...

A Large-Scale Study of the Evolution of Web Pages - Microsoft
A Large-Scale Study of the Evolution of Web Pages - Microsoft
23/08/2018 - www.microsoft.com
A Large-Scale Study of the Evolution of Web Pages Dennis Fetterly Hewlett Packard Labs 1501 Page Mill Road Palo Alto, CA 94304 dennis.fetterly@hp.com Mark Manasse Marc Najork Microsoft Research Microsoft Research 1065 La Avenida 1065 La Avenida Mountain View, CA 94043 Mountain View, CA 94043 manasse@microsoft.com najork@microsoft.com Janet Wiener Hewlett Packard Labs 1501 Page Mill Road Palo Alto, CA 94304 janet.wiener@hp.com ABSTRACT 1. INTRODUCTION How fast does the web change? Does most...

Microsoft K State Whitepaper 2021 08 17
Microsoft K State Whitepaper 2021 08 17
23/09/2024 - www.microsoft.com
Cloud enclave for academic research Streamlining security and compliance at your institution August 2021 Contents Introduction........................................................................................................ 3 1. Assess where you are today........................................................................ 4 Work directly with researchers to identify challenges............................................................................... 4 Identify existing compliance...

D6. 4: Final evaluation of CLASSiC TownInfo and ... - Microsoft
D6. 4: Final evaluation of CLASSiC TownInfo and ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/228835240 D6. 4: Final evaluation of CLASSiC TownInfo and Appointment Scheduling systems Article · May 2011 CITATIONS READS 15 56 11 authors, including: Helen Hastie Filip Jurcicek Heriot-Watt University Charles University in Prague 105 PUBLICATIONS 858 CITATIONS 55 PUBLICATIONS 439 CITATIONS SEE PROFILE SEE PROFILE Oliver Joseph Lemon Steve Young Heriot-Watt University University of Cambridge 323 PUBLICATIONS 3,678 CITATIONS 310 PUBLICATIONS 14,308 CITATIONS SEE PROFILE SEE PROFILE Some of the authors of this publication are also working on these related projects: MaDrIgAL: Multi-Dimensional Interaction management and Adaptive Learning View project ...

Architectures reconfigurables et traitement de proble`mes ... - Microsoft
Architectures reconfigurables et traitement de proble`mes ... - Microsoft
16/11/2016 - www.microsoft.com
RECHERCHE Architectures reconfigurables et traitement de proble`mes NP-difficiles : un nouveau domaine d application Youssef Hamadi    David Merceron  '  ' LIRMM, UMR 5506 CNRS/Universite´ Montpellier II 161, Rue Ada, 34392 Montpellier Cedex 5 hamadi@lirmm.fr ''' EURIWARE, 12-14 rue du fort de St-Cyr 78067 St Quentin-en-Yvelines Cedex damercer@euriware.fr RE´SUME´. L algorithme GSAT est un algorithme de recherche locale. Cette me´thode recherche la premie`re instanciation...

L'économie de la sécurité - Microsoft
L'économie de la sécurité - Microsoft
16/11/2016 - www.microsoft.com
nl y se Lect L économie de la sécurité Ces dernières années, la sécurité est devenue une priorité pour les pouvoirs publics et les entreprises. Crime organisé, terrorisme, interruption des chaînes d approvisionnement mondiales, virus informatiques  autant de menaces avec lesquelles il faut compter dans le monde d aujourd hui. D où l émergence d un marché des équipements et des services de sécurité de 100 milliards de dollars. Ce marché est alimenté par la demande croissante émanant...
 
 

Fiche produit Sony : 36/1175002557436.pdf
Fiche produit Sony : 36/1175002557436.pdf
16/02/2012 - www.sony.fr
Reprographes numériques Sony Solutions d'impression pour l'imagerie médicale Les soins aux patients ne demandent aucun compromis. En tant que radiologue spécialisé, vous exigez pour vos patients du matériel de la meilleure qualité, dont la fiabilité vous permet d'améliorer votre efficacité. Sony vous offre une gamme spécialisée de reprographes numériques, conçus pour répondre aux besoins du monde médical d'aujourd'hui. Un reprographe numérique Sony pour chaque besoin Dans l'environnement...

CONDITIONS PARTICULIERES DE L'ACTION SAMSUNG Veuillez lire ...
CONDITIONS PARTICULIERES DE L'ACTION SAMSUNG Veuillez lire ...
26/02/2018 - www.samsung.com
CONDITIONS PARTICULIERES DE L ACTION SAMSUNG Veuillez lire jusqu au bout avec attention les présentes Conditions Particulières de l Action et les Conditions Générales de l Action s y rapportant. Action : Recevez ce cashback en envoyant les éléments suivants par courrier postal, avant le 15 avril 2013 (cachet de la poste) à l adresse ci-dessous : 1. Le formulaire du site ou le coupon que vous avez reçu dans le magasin, dûment complété 2. Une copie de la facture ou du ticket de caisse...

Communiqué de presse (pdf) - Kyocera
Communiqué de presse (pdf) - Kyocera
30/01/2017 - www.kyocera.fr
Information presse Des sushis à la place de la traditionnelle dinde de Noël ? C est possible grâce à KYOCERA ! Kyoto, Japon/Neuss, Allemagne, 6 octobre 2016  Les sushis sont non seulement délicieux, mais ils augmenteraient également l espérance de vie. C est ce qu a révélé cette année une étude réalisée par le « National Center for Global Health and Medicine » de Tokyo. Ce plat constitue une alternative intéressante aux mets classiques des fêtes plus généreux, tels que...

Ad 090a Ad 170a   Notice D Utilisation V
Ad 090a Ad 170a Notice D Utilisation V
23/06/2024 - admin.astoria.tm.fr
AD 090 A Instructions d'utilisation AD 170 A couverture chauffante 1 place 150 x 100 cm 2 placeS 180 x 130 cm Performance, ergonomie, sécurité & Avec la couverture chauffante confort Astoria, reposez-vous sur les garanties d'une marque forte de plus de 10 ans d'expérience dans le domaine des tissus chauffants. Lire les instructions. Instructions importantes. A conserver pour usage ultérieur. Recommandations de sécurité %× Respecter impérativement les consignes de sécurité, d'utilisation...

HL-L5100DN - Brother
HL-L5100DN - Brother
29/05/2020 - www.brother.fr
HL-L5100DN Brother Imprimante Laser Monochrome Impression 1 General Technologie Classification Laser Processeur Recto-verso Vitesse d'impression (A4) Vitesse d'impression (A4) Recto-verso Resolution Mode silence Memoire Interface Interface Reseau filaire Affichage Temps de sortie de 1ere page Temps de prechauffage Langage d'impression Police residentielle (PCL) Police residentielle (PS) Code-barre residentiel (PCL) Pilote d'impression Laser Electro-photographique Classe produit 1 (IEC 60825-1:2007) Cortex-A9...

Hotte à usage domestique - Fiche Produit Selon le ... - Brandt
Hotte à usage domestique - Fiche Produit Selon le ... - Brandt
10/04/2020 - www.brandt.fr
Hotte a usage domestique - Fiche Produit Selon le reglement delegue (UE) N° 65/2014 Marque Reference commerciale Consommation d-Energie Annuelle (AEC hotte) BRANDT AD1049X 125 kWh/an Classe d-efficacite energetique du modele D Efficacite Fluidodynamique (FDE hotte) 17,9 Classe d-efficacite fluidodynamique Efficacite lumineuse du modele (LE hotte) Classe d-efficacite lumineuse du modele D 3 Lux/Watt Efficacite de filtration des graisses G 76 % Classe d-efficacite de filtration des graisses C Debit...