DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



User-Driven Access Control: Rethinking Permission ... - CiteSeerX
User-Driven Access Control: Rethinking Permission ... - CiteSeerX
23/08/2018 - www.microsoft.com
User-Driven Access Control: Rethinking Permission Granting in Modern Operating Systems Franziska Roesner, Tadayoshi Kohno {franzi, yoshi}@cs.washington.edu University of Washington Alexander Moshchuk, Bryan Parno, Helen J. Wang {alexmos, parno, helenw}@microsoft.com Microsoft Research, Redmond Crispin Cowan crispin@microsoft.com Microsoft Abstract tionality and security for access to the user s data and resources. From a functionality standpoint, isolation inhibits the client-side manipulation...

1 Introduction - Microsoft
1 Introduction - Microsoft
11/04/2018 - www.microsoft.com
One-Way Accumulators: A Decentralized Alternative to Digital Signatures (Extended Abstract) Josh Benaloh Clarkson University Michael de Mare Giordano Automation Abstract This paper describes a simple candidate one-way hash function which satis es a quasi-commutative property that allows it to be used as an accumulator. This property allows protocols to be developed in which the need for a trusted central authority can be eliminated. Space-e cient distributed protocols are given for document time...

L'économie de la sécurité - Microsoft
L'économie de la sécurité - Microsoft
16/11/2016 - www.microsoft.com
nl y se Lect L économie de la sécurité Ces dernières années, la sécurité est devenue une priorité pour les pouvoirs publics et les entreprises. Crime organisé, terrorisme, interruption des chaînes d approvisionnement mondiales, virus informatiques  autant de menaces avec lesquelles il faut compter dans le monde d aujourd hui. D où l émergence d un marché des équipements et des services de sécurité de 100 milliards de dollars. Ce marché est alimenté par la demande croissante émanant...

Microsoft K State Whitepaper 2021 08 17
Microsoft K State Whitepaper 2021 08 17
23/09/2024 - www.microsoft.com
Cloud enclave for academic research Streamlining security and compliance at your institution August 2021 Contents Introduction........................................................................................................ 3 1. Assess where you are today........................................................................ 4 Work directly with researchers to identify challenges............................................................................... 4 Identify existing compliance...

Vers une approche simplifiée pour introduire le caractère ... - Microsoft
Vers une approche simplifiée pour introduire le caractère ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881208 Vers une approche simplifiée pour introduire le caractère incrémental dans les systèmes de dialogue Conference Paper · July 2014 CITATION READS 1 26 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 28 April 2015. The user has requested enhancement of the downloaded file. SEE PROFILE 21ème...

MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
22/05/2017 - www.microsoft.com
MatrixExplorer: Un système pour l analyse exploratoire de réseaux sociaux Nathalie Henry Jean-Daniel Fekete INRIA Futurs/LRI/University of Sydney Bât 490, Université Paris-Sud 91405 Orsay Cedex Nathalie.Henry@lri.fr INRIA Futurs/LRI Bât 490, Université Paris-Sud 91405 Orsay Cedex Jean-Daniel.Fekete@inria.fr RESUME ABSTRACT Dans cet article, nous présentons le système MatrixExplorer destiné à explorer des réseaux sociaux. Il a été conçu pour des chercheurs en sciences sociales...

Architectures reconfigurables et traitement de proble`mes ... - Microsoft
Architectures reconfigurables et traitement de proble`mes ... - Microsoft
16/11/2016 - www.microsoft.com
RECHERCHE Architectures reconfigurables et traitement de proble`mes NP-difficiles : un nouveau domaine d application Youssef Hamadi    David Merceron  '  ' LIRMM, UMR 5506 CNRS/Universite´ Montpellier II 161, Rue Ada, 34392 Montpellier Cedex 5 hamadi@lirmm.fr ''' EURIWARE, 12-14 rue du fort de St-Cyr 78067 St Quentin-en-Yvelines Cedex damercer@euriware.fr RE´SUME´. L algorithme GSAT est un algorithme de recherche locale. Cette me´thode recherche la premie`re instanciation...

DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
23/08/2018 - www.microsoft.com
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com Lin Xiao Microsoft Research AI Redmond, WA 98052, USA weiyu@cs.cmu.edu Adams Wei Yu Machine Learning Department, Carnegie Mellon University Pittsburgh, PA 15213, USA qihang-lin@uiowa.edu Qihang Lin Tippie College of Business, The University of Iowa Iowa City, IA 52245, USA wzchen@microsoft.com Weizhu Chen Microsoft AI and Research Redmond, WA 98052, USA October 13,...
 
 

WD TV Media Player
WD TV Media Player
11/04/2012 - www.wdc.com
WD TV HD Media Player TM Table des matières 1 Informations utilisateur importantes . . . . . . . . . . . . .1 Informations importantes sur la sécurité . . . . . . . . . . . . . . . . . . . . . . . . 1 Assistance technique WD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Enregistrement de vos informations produit WD . . . . . . . . . . . . . . . . 4 Enregistrement de votre produit WD. . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Accessoires . . . . . . . ....

Fiche produit Sony : 12/1207064682812.pdf
Fiche produit Sony : 12/1207064682812.pdf
16/02/2012 - www.sony.fr
Paris, le 31 Mars 2008 Téléviseurs LCD BRAVIA série W4000 : le meilleur de l'image dans un design exclusif · · · Design d'exception et nouveau mode Personal Image Full HD 1080p avec tuner TNT Haute Définition intégré Technologie BRAVIA ENGINE 2 conçue pour la Haute Définition Les téléviseurs LCD BRAVIA de la série W4000 de Sony représentent l'avenir de la télévision. Grâce à un impressionnant assortiment de technologies, ces modèles créent une image parfaite et offrent ainsi...

Zone True Wireless Earbuds
Zone True Wireless Earbuds
14/03/2025 - www.logitech.com
DATASHEET ZONE TRUE WIRELESS EARBUDS Stay focused and in the zone with Zone True Wireless Bluetooth? earbuds. The certified noisecanceling mics, hybrid ANC and immersive sound are ideal for collaboration in busy workspaces without compromising on the quality, productivity or creativity. Logitech Zone True Wireless delivers immersive experiences that help you sound clear, stay connected and confident. Three mics in each earbud (6 total) distinguish your voice from other sounds through a combination...

R580 E7P-C3330 (NP-R580-JS01FR)
R580 E7P-C3330 (NP-R580-JS01FR)
13/02/2012 - www.samsung.com
Windows®. La vie sans limites. Samsung recommande Windows 7. R580 E7P-C3330 R580 E7P-C3330 NP-R580-JS01FR 880 8993 701 438 Affichage Ecran 14'' HD 16:9 (1366 x 768) SuperBright Gloss LED 3072 Mo (1x2048 + 1x1024 Mo) DDR3 SODIMM (800MHz PC2-5300) Elégance et puissance pour un effet cristal intense * Condition de test : Logiciel BatteryMark 4.0.1, Samsung Battery Mode optimisé, Luminosité minimum, Wi-Fi Off ** Condition de test : Lecture continue d'un film en format DivX stocké sur le disque...

C/ntr-usa-1 - Nintendo
C/ntr-usa-1 - Nintendo
02/12/2014 - www.nintendo.com
C/NTR-USA-1 NEED HELP WITH INSTALLATION, MAINTENANCE OR SERVICE? NINTENDO CUSTOMER SERVICE: WWW.NINTENDO.COM or call 1-800-255-3700, MON.-SUN., 6:00 a.m. to 7:00 p.m, Pacific Time (Times subject to change) TTY Hearing Impaired: 800-422-4281 BESOIN D'AIDE AVEC L'INSTALLATION, L'ENTRETIEN OU LE SERVICE ? SERVICE À LA CLIENTÈLE DE NINTENDO: www.nintendo.ca Ou appelez le 1-800-255-3700 LUN.-DIM., entre 6 h 00 et 19 h 00 , heure du Pacifique. (Heures sujettes à changement) Service à la clientèle...

SCB92MX8 - Pulsat
SCB92MX8 - Pulsat
29/06/2016 - www.smeg.fr
SCB92MX8 classica SMEG ELITE Centre de cuisson, 90 cm, inox, double four dont 1 vapor clean catalyse, chaleur tournante Classe énergétique : A Grand Four - A Petit Four EAN13: 8017709149963 Plan de cuisson gaz : 5 brûleurs dont : Arrière gauche : 1,80 kW Avant gauche : 3,00 kW Central : ultra-rapide 3,50 kW Arrière droit : 1,80 kW Avant droit : 1,00 kW Puissance nominale gaz : 11,10 kW Grilles en fonte Chapeaux de brûleurs émaillés fonte Allumage électronique intégré aux manettes Sécurité...