深度剖析：数据工程师vs数据科学家
|
为了解释我的“缓慢变化”的意思，我将分享那些我见过的从数据工程师转变为机器学习工程师的人的经验。 他们花了数年时间做软件工程师和数据工程师的开发工作。 他们一直对统计学或数学感兴趣。 其他时候，他们只是厌倦了作为一名数据工程师所遇到的限制。 无论哪种方式，这种转变需要数年时间。 参加初级统计课程或初级学习机器课程之后，我没发现人们能立刻成为机器学习工程师。 正如我将数据科学家视为偏学术一样，数据工程师也不刚好是适合做机器学习工程师的。 一个工程师喜欢世界里的真和假，黑和白，以及1和0。他们不喜欢不确定性。 通过机器学习，模型的猜测存在一定程度的不确定性(工程师也不喜欢猜测)。 与大多数工程师不同，机器学习工程师可以跨越数据工程的确定性和数据科学的不确定性。 机器学习工程师日益增加的价值 进行数据科学的门槛正在逐渐降低。 最佳实践正在逐步充实。 最常见的算法变为共识。 更好的消息是，有人已经编码并优化了这些算法。 这种不断增长的成熟性，使得数据科学家和机器学习工程师更容易将算法投入生产而无需编码。 我们也看到，数据科学变得更加自动化，有着更为自驱动的过程。 Google的AutoML就代表了这样一种趋势，工具会自动为您找到最佳算法，无需成熟数据科学家的工作即可获得结果。 DataRobot是另一种自动化技术，它为数据寻找最佳的数据科学算法。 它还将帮助机器学习工程师将算法投入生产。 这些工具不会取代硬核的数据科学，但它将使数据科学家能够专注于数据科学中更困难的部分。 它将使机器学习工程师变得越来越有生产力。 我们将逐渐看到，机器学习工程师的负担会越发减少，自动化算法越发增加。 未来应该期望机器学习工程师达到何种水平的生产力?我对这一点感到左右为难。简单来说，机器学习工程师是否要为他们的Web开发人员做Wordpress配置员? 在这种场景下，机器学习工程师可以通过众所周知的标准用例来提高工作效率，只有数据科学家才能处理真正的自定义工作。 或者，机器学习工程师会重新成为数据库管理员吗? 在对模型已知的深入了解，他们可以使用已知的、千篇一律的方法来配置模型，在50-80%的时候获得正确的结果，并且这足以满足所有需求。 要获得真正准确的结果，您会需要一位数据科学家。 机器学习工程师和数据科学家的生产力的关键，将会是他们的工具。 现在工具缺乏成熟度，这就是为什么我会好奇他们将来会有多么高效。 我希望数据科学的入门门槛继续降低。 这将使机器学习工程师能够在不大量增加知识的情况下完成更多的数据科学工作。 我希望机器学习工程师的角色在美国和全世界范围内变得越来越普遍。 该怎么做? 现在您已经看到了数据科学家和数据工程师之间的差异，您需要环顾整个机构，看看您需要在哪些地方作出改变。 这是我帮助其他机构完成的一项变革，他们已经看到了巨大的成果。 在数据科学小组似乎陷入困境、无法有作为的情况下，我们创建了数据工程团队，向数据科学和数据工程团队展示了如何协同工作，并制定了正确的流程。 这些变化使数据科学团队的生产力从20%提高到90%。 团队能够用相同数量的人做更多事情。 数据科学家们更开心，因为他们没有进行数据工程。 管理层可以开始基于备受期待的大数据提供价值。 您也许还会遇到一个新岗位，机器学习工程师。 随着您的数据科学和数据工程团队的成熟，您需要检查团队之间的差距。 您可能需要提拔一位数据工程师，在他的努力路径上让他成为机器学习工程师，或直接聘请一位机器学习工程师。 最后，大数据的绝大多数问题都是人和团队的问题。 它们不是技术问题(至少在最初阶段不是)。 技术通常会受到指责，因为责怪技术要比团队自省容易得多。 在您解决人事问题之前，您不会遇到真正棘手的技术问题，也不会创造出您所期望的大数据能够带来的价值。 诚实地审视您的团队和您的机构，看看您需要在哪里作出改变。 【编辑推荐】
点赞 0 （编辑：新余站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
