Ezra Blog

Thinking will not overcome fear but action will.

网络拓扑对分布式深度学习系统的影响

网络拓扑

E. Chan et al.: Collective communication: theory, practice, and experience. CCPE’07TH, D. Moor: Energy, Memory, and Runtime Tradeoffs for Implementing Collective Communication Operations, JSFI’14 H...

Posted by Ezra on June 2, 2018

网络拓扑总结

网络拓扑总结

http://wiki.expertiza.ncsu.edu/index.php/CSC/ECE_506_Spring_2011/ch12#Linear_Array Ring TopologyNumber of Links as function of number of nodes, N : N (linear) Number of connections per node: 2 ...

Posted by Ezra on June 1, 2018

网络拓扑 分布式深度学习系统

网络拓扑 分布式深度学习系统

分布式深度学习系统 1.Centralized ​ 1.1 Parameter Server （star） ​ 1.2 Hierarchical PS (tree) 2.Decentralized (ring) 1.1 Parameter Server 2012_nips_large_sc...

Posted by Ezra on June 1, 2018

模型并行，数据并行，参数平均，ASGD

模型并行，数据并行，参数平均，ASGD

模型并行，数据并行，参数平均，ASGD https://blog.csdn.net/xbinworld/article/details/74781605 并行模型模型并行（ model parallelism ）:分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分 —— 例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器；[14]数据...

Posted by Ezra on May 31, 2018

论文摘要整理

分布式

Reduced Communication Techniques1,2， 1. 1-Bit Stochastic Gradient Descent and its Application to Data-Parallel Distributed Training of Speech DNNs Abstract We show emp...

Posted by Ezra on May 30, 2018

为什么分布式深度学习一般都用数据并行而不用模型并行

数据并行 模型并行

作者：李哲龙链接：https://www.zhihu.com/question/53851014/answer/158794752来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 首先说下为什么要并行，众所周知目前的深度学习领域就是海量的数据加上大量的数学运算，所以计算量相当的大，训练一个模型跑上十天半个月啥的是常事。那此时分布式的意义就出现了，既然一张GPU...

Posted by Ezra on May 29, 2018

李沐分布式深度学习视频总结2

李沐分布式深度学习视频总结2

视频链接：https://www.bilibili.com/video/av19193624?from=search&seid=2021868981970361738 随机把一些梯度变为0，或者用更少的bits来传输浮点梯度 不是每一次都更新所有的block，只更新一个允许延迟，不一定要等到前面的block传输完。 bounded delay利用filter来压缩通信 ： k...

Posted by Ezra on May 28, 2018

李沐分布式机器学习视频总结1

李沐分布式机器学习视频总结1

看李沐的分布式机器学习视频挑战： 1. 数据量很大，单机太慢 1. 通信带宽受限，一般比内存带宽小十倍 2. 同步代价高， 1ms的延迟 3. 可能出现任务故障，如何处理？（主要原因是一个任务跑得很久的时候，这个任务会被更高优先级的任务抢占资源，结果就挂了，而不是因为机器数量多而故障率高） 优化过程中的挑战： 1. 通信带宽小 2. 机器数量很多时，同步代价高 MPI的问题： ...

Posted by Ezra on May 27, 2018

矩阵相乘效率比较

矩阵相乘

矩阵相乘效率比较 2018年04月12日 10:07:39 阅读数：61 牛客网上的一道题 深度学习是当前很热门的机器学习算法，在深度学习中，涉及到大量的矩阵相乘，现在需要计算三个稠密矩阵A,B,C的乘积ABC,假设三个矩阵的尺寸分别为mn，np，pq，且m<n<p<q，以下计算顺序效率最高的是（） A. ABC B. (AC)B ...

Posted by Ezra on May 26, 2018

网络拓扑对分布式深度学习的影响

网络拓扑对分布式深度学习的影响

分布式消息传递方式汇总 去中心化的架构2017 NIPS Can Decentralized Algorithms Outperform Centralized Algorithms ? A Case Study for Decentralized Parallel Stochastic Gradient Descent 目前大多数的深度学习系统的网络拓扑。中间节点收集梯度，更新网络的权重...

Posted by Ezra on May 25, 2018

FEATURED TAGS
iOS 定时器 生活 Blog Mac 效率 开发技巧 博客 漫谈 终端 Git Github Swift 设计模式 zsh Notes 健身 BJJ Distributed DL DL distributed DL
ABOUT ME

Goals determine what you going to be!

✉️ 215824568@qq.com

FRIENDS