建筑通信系统的组成与要求

第二条路：技术管理路线，从技术Leader-技术经理-技术总监-CTO（技术VP）。这是大多数技术同学选择的一条路。

这条路线要求多方面的能力，除了技术水平能hold 得住下属之外，还需要很强的智商和情商，在向上向下管理方面都需要做很多功课，同时，还得做好跟业务部门的配合。这条路线的好处是，在互联网发展比较好的时代，会有不少的好机会。

不幸的是，在这个互联网行业开始走下行通道的时间节点，大多数大厂的技术管理坑已经被占住，只招各种干活的“专家”；创业公司大批量死亡，不但不能提供职位，还释放出来一大票竞争对手，对一个纯技术管理人员来说，能不能找到工作，就变成了一个大问题。
 

大致来看，对码农来说，职业发展有三条路。这三条路，工作十年，到了30来岁，就得做选择了。

第一条路：所谓的专业路线，从工程师-高级工程师-技术专家-高级专家-资深专家-科学家-首席科学家，在工程或者算法的某个细分领域，一条道走到黑。

综合来看，这条路线风险最小，收益也不错。毕竟，在互联网公司中，技术研发人员的薪水还是最高的，尤其是以百度，头条，快手为代表的技术流派公司。问题是，这条路，需要码农同学在特定的技术领域持续学习，而不能坐在原来的功劳簿上睡大觉，比如如果你在5年前就是一个PHP架构师，现在还是PHP架构师（没学Java，golang，Python，算法等等），你想出去的时候，突然发现一行大字：PHP是这个世界上最好的语言。这种学习对学习能力，好奇心，甚至体能都是有很大要求的，毕竟你已经不是当年那个20出头的少年，并不是所有人能够成为真正的技术专家。

当然，还有一个问题：走这条路线，如果到了比较资深架构师（老且贵）的阶段，基本只能去BAT等一线大厂或者回学校教书了。因为创业公司技术不需要这么深，不需要这么专业的人才，当然，也养不起。

PBG 的另一大创新是训练机制的并行化和分布式。PBG 使用 PyTorch 自带的并行化机制实现了一种分布式训练模型，这用到了前面描述的模块分区结构。在这个模型中，各个机器会协调在不相交的 bucket 上进行训练。这会用到一个锁服务器（lock server），其负责将 bucket 分派给工作器（worker），从而尽可能地减少不同机器之间的通信。每台机器都可以使用不同的 bucket 并行地训练模型。
 

当应用于大型图结构时，大多数图嵌入方法的结果都相当局限。举个例子，如果一个模型有 20 亿个节点，每个节点有 100 个嵌入参数（用浮点数表示），则光是存储这些参数就需要 800 GB 内存，因此很多标准方法都超过了典型商用服务器的内存容量。这是深度学习模型面临的一大挑战，也是 Facebook 开发 BigGraph 框架的原因。

PyTorch BigGraph

PyTorch BigGraph（PBG）的目标是扩展图嵌入模型，使其有能力处理包含数十亿节点和数万亿边的图。PBG 为什么有能力做到这一点？因为它使用了四大基本构建模块：

1. 图分区，这让模型不必完全载入到内存中。
2. 在每台机器上的多线程计算
3. 在多台机器上的分布式执行（可选），所有操作都在图上不相连的部分进行
4. 分批负采样，当每条边 100 个负例时，可实现每台机器每秒处理超过 100 万条边。

通过将图结构分区为随机划分的 P 个分区，使得可将两个分区放入内存中，PBG 解决了传统图嵌入方法的一些短板。举个例子，如果一条边的起点在分区 p1，终点在分区 p2，则它会被放入 bucket (p1, p2)。然后，在同一模型中，根据源节点和目标节点将这些图节点划分到 P2 bucket。完成节点和边的分区之后，可以每次在一个 bucket 内执行训练。bucket (p1, p2) 的训练仅需要将分区 p1 和 p2 的嵌入存储到内存中。PBG 结构能保证 bucket 至少有一个之前已训练的嵌入分区。
 

，它能更快更轻松地为 PyTorch 模型中的超大图结构生成图嵌入。

某种程度上讲，图结构可视为有标注训练数据集的一种替代，因为节点之间的连接可用于推理特定的关系。这种方法遵照无监督图嵌入方法的模式，它可以学习图中每个节点的向量表征，其具体做法是优化节点对的嵌入，使得之间有边相连的节点对的嵌入比无边相连的节点对的嵌入更近。这类似于在文本上训练的 word2vec 的词嵌入的工作方式。

（编辑：新余站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!