DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft

Extrait du fichier (au format texte) :

DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com

Lin Xiao
Microsoft Research AI
Redmond, WA 98052, USA

weiyu@cs.cmu.edu

Adams Wei Yu
Machine Learning Department, Carnegie Mellon University
Pittsburgh, PA 15213, USA

qihang-lin@uiowa.edu

Qihang Lin
Tippie College of Business, The University of Iowa
Iowa City, IA 52245, USA

wzchen@microsoft.com

Weizhu Chen
Microsoft AI and Research
Redmond, WA 98052, USA

October 13, 2017

Abstract
Machine learning with big data often involves large optimization models. For distributed optimization over a cluster of machines, frequent communication and synchronization of all model parameters
(optimization variables) can be very costly. A promising solution is to use parameter servers to store different subsets of the model parameters, and update them asynchronously at different machines using local datasets. In this paper, we focus on distributed optimization of large linear models with convex loss functions, and propose a family of randomized primal-dual block coordinate algorithms that are especially suitable for asynchronous distributed implementation with parameter servers. In particular, we work with the saddle-point formulation of such problems which allows simultaneous data and model partitioning, and exploit its structure by doubly stochastic coordinate optimization with variance reduction (DSCOVR). Compared with other first-order distributed algorithms, we show that DSCOVR may require less amount of overall computation and communication, and less or no synchronization. We discuss the implementation details of the DSCOVR algorithms, and present numerical experiments on an industrial distributed computing system.
Keywords: asynchronous distributed optimization, parameter servers, randomized algorithms,
saddle-point problems, primal-dual coordinate algorithms, empirical risk minimization

1. Introduction
Algorithms and systems for distributed optimization are critical for solving large-scale machine learning problems, especially when the dataset cannot fit into the memory or storage of a single machine. In this paper, we consider distributed optimization problems of the form minimize w "R d

Les promotions



MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
MatrixExplorer: Un système pour l'analyse exploratoire de ... - Microsoft
22/05/2017 - www.microsoft.com
MatrixExplorer: Un système pour l analyse exploratoire de réseaux sociaux Nathalie Henry Jean-Daniel Fekete INRIA Futurs/LRI/University of Sydney Bât 490, Université Paris-Sud 91405 Orsay Cedex Nathalie.Henry@lri.fr INRIA Futurs/LRI Bât 490, Université Paris-Sud 91405 Orsay Cedex Jean-Daniel.Fekete@inria.fr RESUME ABSTRACT Dans cet article, nous présentons le système MatrixExplorer destiné à explorer des réseaux sociaux. Il a été conçu pour des chercheurs en sciences sociales...

MSR Quantum applications - Microsoft
MSR Quantum applications - Microsoft
23/08/2018 - www.microsoft.com
( What Can We Do with a Quantum Computer? ( Matthias Troyer  Station Q, ETH Zurich | 1 Classical computers have come a long way Antikythera mechanism ENIAC astronomical positions (1946) (100 BC) Kelvin s harmonic analyzer prediction of tides (1878) Difference Engine (1822) Is there anything that we cannot solve on future supercomputers? Titan, ORNL (2013) Matthias Troyer | | 2 How long will Moore s law continue? Do we see signs of the end of Moore s law? Can we go below 7nm...

Microsoft Modern Work Plan Comparison Education 11 2021
Microsoft Modern Work Plan Comparison Education 11 2021
14/09/2024 - www.microsoft.com
Add-on licenses Endpoint and app management Microsoft Product Terms Desktop client apps1 %? %? %? %? %? Office Mobile apps2 %? %? %? %? %? %? Install apps on up to 5 PCs/Mac + 5 tablets + 5 smartphones %?3 %? %? %?3 %? %? Office for the web %? %?

DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
DictaNum : système de dialogue incrémental pour la dictée ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881756 DictaNum : système de dialogue incrémental pour la dictée de numéros. Conference Paper · July 2014 CITATIONS READS 0 57 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 06 June 2014. The user has requested enhancement of the downloaded file. 21ème...

DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
DSCOVR: Randomized Primal-Dual Block Coordinate ... - Microsoft
23/08/2018 - www.microsoft.com
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization lin.xiao@microsoft.com Lin Xiao Microsoft Research AI Redmond, WA 98052, USA weiyu@cs.cmu.edu Adams Wei Yu Machine Learning Department, Carnegie Mellon University Pittsburgh, PA 15213, USA qihang-lin@uiowa.edu Qihang Lin Tippie College of Business, The University of Iowa Iowa City, IA 52245, USA wzchen@microsoft.com Weizhu Chen Microsoft AI and Research Redmond, WA 98052, USA October 13,...

Vers une approche simplifiée pour introduire le caractère ... - Microsoft
Vers une approche simplifiée pour introduire le caractère ... - Microsoft
23/11/2017 - www.microsoft.com
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/262881208 Vers une approche simplifiée pour introduire le caractère incrémental dans les systèmes de dialogue Conference Paper · July 2014 CITATION READS 1 26 3 authors, including: Hatim Khouzaimi Romain Laroche Orange Labs / Laboratoire Informatique d'Avi & Microsoft Maluuba 12 PUBLICATIONS 42 CITATIONS 58 PUBLICATIONS 185 CITATIONS SEE PROFILE All content following this page was uploaded by Hatim Khouzaimi on 28 April 2015. The user has requested enhancement of the downloaded file. SEE PROFILE 21ème...

L'économie de la sécurité - Microsoft
L'économie de la sécurité - Microsoft
16/11/2016 - www.microsoft.com
nl y se Lect L économie de la sécurité Ces dernières années, la sécurité est devenue une priorité pour les pouvoirs publics et les entreprises. Crime organisé, terrorisme, interruption des chaînes d approvisionnement mondiales, virus informatiques  autant de menaces avec lesquelles il faut compter dans le monde d aujourd hui. D où l émergence d un marché des équipements et des services de sécurité de 100 milliards de dollars. Ce marché est alimenté par la demande croissante émanant...

Entanglement and Rigidity in Percolation Models ... - Alexander Holroyd
Entanglement and Rigidity in Percolation Models ... - Alexander Holroyd
22/05/2017 - www.microsoft.com
 ''&'''''' '&'!' &'' &''&''''''' ' ' ''''''''''''"' ''#' '$'%&''&&'''*')'+'!',''-''''.')'+' '/ ')'0''1&''!''2 ''3 '4'6'5'8'7''9';':'=''§'H''£'Œ'X'© '’''“'”'','¾'K''‘''£'Œ'‹'“'”!’'8'’''Š''Œ''Š''›'ž'’'''£'Œ'ž'Š'­'Š',!’'8'’'''£!’'H'¥&`''œ'Š',!”''Š',!’'8'’'''£!’'H'™&'Œ'ž'“'”'¥&`'“'œ'™'H'“'œ'’'¸'¨'£'²'‹'¬''Ž'@'Ž&`'›'ž'Š',''œ'¨$i'›'ž'§'V'Š',''£'®%Ï'“'”!’'H'¥'H'»&`'’'' 'H'Š'­!”''Š'z''£!’'K'“'”!’'H'¥ 'Ž'£'$c'’'' 'H'Š','›'ž'Š$e'’''Š''Œ'!”''›'­'“'”'›'´''£'›'´''¢'Ž&`''œ''”'Ž'h'¤'‡'›','²'>'±''¥&`'Œ''t'§'H' '0'“'”!’'¯'’'' 'H'Œ''Š''Š'#'©'P'™'H'“'”!”''Š',!’'H'›'ž'“'”'Ž&`!’'H''£''¹'›''§'|''£'''Š'¼'“'”'›'Q'Š',!’'8'’'.''£!’'K'¥&`''”'Š''™ '“'«''´'“'«'’'w''z''£!’'H!’'K'Ž'£'’$i'Ÿ'V'Š'0'R'n'§'H'¾'H''”''œ'Š','™'p''£'§'|'t'Œ'ž'’'zÏ&'¤'‡' 'K'Š',!’Ð'’'' 'H'Š''Š','™'H'¥&`'Š''›''t'Œ''Š'+'Œ''Š''¥'8''£'Œ''™'K'Š','™Ñ't'›$i'§'K' %Ï'¨'@'›'ž'“'”''z't''µ'''Ž&`!’%²'© !’'H'Š''''’''“'”'Ž&`!’'H'›$i!”&''£'™'H'Š''Ž'£''*'Š',''”''£'›'ž'’''“'”'t'²'0'±Ò'¥&`'Œ'''£'§'H' Ð'“'”'›$i'Œ''“'”'¥'£'“'”'™'p'“'œ''­'“'«'’$i''z''£!’'H!’'K'Ž'£'’'º'Ÿ'"'Š'1'R'n'™'H'Š'#''¢'Ž&`'Œ'!”''Š','™&Ï$c'¤'‡' 'H'Š'!’ '’'' 'H'Š'º'Š','™'K'¥&`'Š','›'w''£'Œ'ž'Š'º'Œ''Š''¥'8''£'Œ'ž'™'H'Š','™Ó''£'›'-'›''Ž&`''œ'“'”'™''Œ'ž'Ž%²'™'K'›'-'¤'‡' 'H'“'”''.' '…'',''£!’'…'§'H'“'«'¶&`'Ž'£'’'w''F'’'-'’'' 'K'Š''¶&`'Š''Œ'ž'’''“'œ'','Š''›','²$i'·'*' 'H'Š','›'ž'Š '“'œ!’%Ï'’''¾'H'“'œ'’''“'œ'¶'£'Š$e!’'H'Ž'£'’''“'”'Ž&`!’'H'›'­'¤'‡'“'œ''”'&'Ÿ'"'Š$e''¢'Ž&`'Œ'ž!”'¯''£''œ'“'”'›'ž'Š','™'0''‘''F'’''Š','Œ''² Ô'=!’'8'’'.''£!’'H'¥'£''”'Š',!”''Š',!’'8'’'''£!’'H'™'p'Œ''“'œ'¥&`'“'”'™'H'“'«'’'¸'¨&c'“'œ!’'p'§'"'Š','Œ'ž'','Ž&`''”'t'’''“'œ'Ž&`!’'p''£'Œ''Š''Ž'£''´'“'”!’'8'’''Š''Œ''Š','›'X'’'''¢'Ž'£'Œ$i'›'ž'Š''¶'£'Š','Œ''t''Q'Œ'ž'Š'z''F'© '›'ž'Ž&`!’'H'›','²ÖÕ×'“'”'Œ''›'X'’'''«'¨&`'»'*'’'' 'H'Š'#'¨Ø' '|''z'¶&`'Š'p'“'”!”''§'"'Ž&`'Œ'ž'’'''£!’'8'’'...
 
 

Manuale Utente di Keynote - Support - Apple
Manuale Utente di Keynote - Support - Apple
27/11/2014 - manuals.info.apple.com
Keynote 08 Manuale Utente K Apple Inc. © 2008 Apple Inc. Tutti i diritti riservati. In base alle leggi sul copyright, il presente manuale non può essere copiato, interamente o in parte, senza il consenso scritto di Apple. I diritti dell utente in merito al software sono regolati dal contratto di licenza software accluso. Il logo Apple è un marchio di Apple Inc., registrato negli Stati Uniti e in altri paesi. L utilizzo del logo Apple tramite tastiera  (Opzione-Maiuscole-K) per scopi c

Logi Wwc Report
Logi Wwc Report
13/03/2025 - www.logitech.com
RESEARCH REPORT What (and Who) is Holding Women Back in Tech? Is Tech Actually Agile? In the tech industry, many companies turn to Over the past forty years, women have made the Agile manifesto as a guide to software great strides in fields like the life sciences, but development. It's so prevalent that over their participation rates in engineering and 70% of tech companies use it. Anchored in computer sciences stay unchanged or have principles like teamwork, kindness, and open even

Règlement complet de l'offre de remboursement ASUS 30€ sur tous ...
Règlement complet de l'offre de remboursement ASUS 30€ sur tous ...
08/07/2016 - www.asus.fr
Règlement complet de l offre de remboursement ASUS 30 ¬ sur tous les Eee PC!" 1001PX et 1001PXD du 18 Mai au 26 Juillet 2011 Article 1 : La société ASUS France, dont le siège social se situe au 10 Allée Bienvenue 93160 Noisy Le Grand, organise du 18 Mai au 26 Juillet 2011 une Offre de Remboursement de 30 ¬ à valoir sur l achat en France métropolitaine et dans le réseau des revendeurs participants d un Eee PC!" 1001PX ou 1001PXD parmi les références suivantes : 1001PX-WHI004X, 1001

Brochure Nikon Coolpix 2000
Brochure Nikon Coolpix 2000
20/02/2018 - www.nikon.fr
Caractéristiques de l appareil photo numérique Nikon COOLPIX 2000 PHOTOGRAPHIER Le COOLPIX 2000 simplifie réellement la photographie numérique. Il est l appareil idéal de ceux qui ne sont pas encore familier avec la technologie numérique mais qui souhaitent néanmoins réussir de superbes images. Cadrez, déclenchez, c est terminé. ADMIRER Grâce à son Zoom-Nikkor 3x de haute qualité et à sa reproduction fidèle des couleurs, le COOLPIX 2000 vous assurera des résultats à vous f

VSTR50
VSTR50
05/07/2012 - www.smeg.fr
VSTR50 SMEG ELITE Evier encastrable, sous-plan, 1 cuve, 50 cm, inox Meuble sous-évier minimum 60 cm EAN13: 8017709149437 Inox brossé d'épaisseur 1 mm 1 cuve de 50 x 40 cm Cuves à rayons minimum 15 mm Profondeur grande cuve 20 cm Bonde Ø 90 Trop-plein anti-débordement Livré avec bonde NB : mitigeurs en option, consultez la gamme dans la famille "Mitigeurs" Options KITSTR - Kit de vidage automatique 1 cuve KITDS - Doseur de savon KITSF1 - Siphon 1 cuve Versions VSTR34 - Cuve de 34 cm

Q320 E7P-650 (NP-Q320-JS01FR)
Q320 E7P-650 (NP-Q320-JS01FR)
13/02/2012 - www.samsung.com
Windows®. La vie sans limites. Samsung recommande Windows 7. Q320 E7P-650 Part Number : NP-Q320-JS01FR Code EAN : 880 8993 624 720 Système d exploitation  Windows® 7 Édition Familiale Premium Authentique Processeur Technologie Processeur Fréquence Chipset FSB Mémoire cache L2 Ecran Taille et type Résolution standard Contrôleur graphique Processeur graphique Mémoire vidéo   Résolution externe et fréquence maximale Mémoire vive Installée Maximale Technologie Emplacement(s) Disque

enregistrer en tant que pdf - Seagate
enregistrer en tant que pdf - Seagate
14/04/2017 - www.seagate.com
Windows Guide de l'utilisateur Bienvenue L'application multimédia vous aide à gérer le contenu multimédia et les documents copiés sur des périphériques de stockage en réseau ou sans fil compatibles. Cet outil est disponible sous forme d'application pour les appareils mobiles ou pour une utilisation avec un navigateur Web. Chez vous ou en déplacement, vous pouvez utiliser l'application multimédia où que vous soyez pour écouter de la musique, regarder des films et des photos ou consu

Tabla de Programas
Tabla de Programas
20/03/2015 - docs.whirlpool.eu
FUNCIONAMIENTO DE LA SECADORA Se incluye información adicional (resolución de problemas y servicio de asistencia) en los apartados de las instrucciones de uso. Clasifique las prendas según los símbolos de las etiquetas. No apta para secadora Apta para secadora a temperatura baja Apta para secadora Preparación de la ropa Carga de la secadora Selección del programa Selección de opciones (si están disponibles) Puesta en marcha de la secadora Clasificar por: Grosor del material: siemp

F6169FB15056900B10DEA60B49C11C31
F6169FB15056900B10DEA60B49C11C31
05/04/2012 - www.hasbro.com
EXEMPLES DE JEUX (suite) Les lettres en caractères gras montrent quelles tuiles sont placées lors du tour. ÂGE 5+ 2-4 JOUEURS S O T R I C O R N E T E N T E M U S E S O T R I C O R N E T E N T E M U S E F I N Tour 5: 10 points 5 points pour TENTE 3 points pour NÉE 2 points pour EN Tour 6: 7 points 3 points pour FIN 2 points pour MI 2 points pour UN GAGNER LA PARTIE À la fin de la partie, le joueur qui a marqué le plus de points gagne! CONTENU · Planchette de jeu réversible · 202