【SDCC 2016】Erlang 编程语言专题:Erlang 在数据链路、分布式系统的落地实践-程序员宅基地

技术标签: 编程语言  分布式系统  Joe-Armstrong  数据链路  Erlang  

【CSDN现场报道】2016年11月18日-20日,由CSDN重磅打造的年终技术盛会 —— “2016中国软件开发者大会”(Software Developer Conference China 2016,简称SDCC 2016)在北京京都信苑饭店隆重举行。本届大会云集了100多位国内外顶尖专家和技术大牛,共设新趋势和新实践2大主题会场,14个技术专题。面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,助力企业的技术升级和改造、全面提升技术人员的综合实力。


11月18日,在上午 Keynote 上,首次到访中国的 Erlang 之父 Joe Armstrong 以《如何设计高可靠的分布式并行系统》为主题,切身分享了自身深厚的并行编程经验。更在下午的 Erlang 编程语言专题论坛上,以诙谐的语言分享了自己从“Young Me”到“Dr Me” 的多彩程序人生,以及 Erlang 的设计、开源、使用。并和以阿里云 RDS 技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba 云巴 CEO 张虎为代表的国内 Erlang 企业开发团队代表一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。本次会议由火币网 CTO 程显峰主持。

Erlang 语言设计者 Joe Armstrong

Erlang 之父 Joe Armstrong:Erlang 和我的编程人生

Armstrong 先生的分享主要分为两部分,一部分包含他是如何思考和解决问题的,另一部分是 Erlang 语言的演进。不过,用 Armstrong 先生在现场的原话来说,则是这样的:

今天我总共有两个话题要与大家分享,第一个是我的头发是怎么白的,还有我和我的博士生们交流研究过的诸多问题。另外一个就是我们在编程的时候经历过哪些失误与失败,以及这些方面实实在在的例子。

出生于1950年的 Armstrong 先生在他数十年的生命中所发生的种种事迹让我们津津乐道,而在他原本的人生设想里是1972年到75年攻读物理学博士,1985年成为教授,2000左右的时间获得诺贝尔奖。即使是总会有各种俗事纷扰,包括从“Smal stuff”到“Big stuff”在内的各式各样甚至于无关紧要的小事情,但这长期的计划却未变过。

然而,万万没想到,在1975年出现了“(Really)Run out of money”的窘境,而他也由此转向了计算机科学领域。从1986年希望有一个不错的容错处理系统创造了 Erlang,到爱立信暂时禁用 Erlang,继而 Erlang 开源,自己被 Fired、成为教授,认为“PPT 总是会摧毁人们的创造力”的 Armstrong 先生用手绘图里的哭和笑表情带过了个中曲折。

而在编程方面,Armstrong 先生分享到:

  1. 人们总认为产品开发流程是这样:Specify→Build→Test→Sell→$$$,然而实际上却是这样的:start→??????????→Product;
  2. 学习语言从一个问题开始,比如 Xcode:How can we confuse people? Erlang:How can we program telephony?
  3. 关于文档:Read the code;
  4. 关于性能:Wait 10 years for x1000 improvement,在未来二十年,所有与关键性能相关的软件将与硬件相融合。

阿里云 RDS 技术专家黄大鹏(武藏):Erlang 在云上数据链路的应用

阿里云 RDS 技术专家 黄大鹏(武藏)

PPT 下载:《Erlang 在云上数据链路的应用

当今云上数据链路面临着数据库服务极其严苛的可用性要求、云上业务多样性带来的困难、超高并发带来的问题、运维实体从几十到几十万带来的问题、资源倾斜、低成本与高效率的矛盾等挑战。作为高性能、高可用的平台,Erlang提供了相关的基础设施,负责任务调度、内存管理、应用隔离、网络框架、高可用框架、代码热替换,由此武藏与其团队开始了 Erlang 在云上数据链路的应用实践探索。比如在高可用方面,当硬件、操作系统故障,内部逻辑 Bug 造成假死,可在检查到异常后,采取将 SLB 路由摘掉、流量导走的措施。而在热升级方面,武藏建议:

  1. 尽量有soft_purge,purge不成功不要强行替换;
  2. 数据与应用逻辑的兼容,写好code_change;
  3. 避免模块间循环依赖;
  4. 动态启动的进程可能不会执行code_change。

环信首席架构师兼 IM 技术总监梁宇鹏:Erlang 在大规模分布式系统中的问题与应对

环信首席架构师兼 IM 技术总监 梁宇鹏

首先,在架构实践方面,以会话存储层设计为例,Mnesia 能处理么?在没有持久存储的情况下能,但是节点宕机时会遇到全局锁,从而导致所有节点都会阻塞引发整体集群无法访问,以自带的分区功能减少每个节点数量。随后,梁宇鹏对 Erlang 在大规模分布式系统中的运用进行了具体分享,包括分布式设计、全连接网络、进程调度等方面,他表示:调度的本质是计算资源的分配,公平才能保障系统的实时性,开发者需谨慎使用进程组,比如 Erlang的 Kafka client——Ekaf会把 pg2 把所有的调用方绑在一起,导致在网络闪断或 Kafka Server 端出问题时,全集群的锁定,对此,可将进程信息改为本地存储,该方案已开源。

Yunba 云巴 CEO 张虎:实时系统 Erlang 实践

Yunba 云巴 CEO 张虎

PPT 下载:实时系统 Erlang 实践

在面临支持亿级用户、线性扩容、高可用、软实时等方面的挑战时,有着异步 IO(Libev/epoll、Node.js)、轻量级进程(Erlang、Golang、Akka)等可选方案,而 Erlang 可公平调度、支持分布式、进程独立的 GC、OTP,基于此张虎具体分享了其团队在 Erlang 的实践,主要为:

  1. OTP Applications:每一个 模块封装一个 Application(Supervisor),业务逻辑由 Worker 实现,对外提供 RPC 接口;
  2. 接入负载均衡模块:实时监控,动态添加、移除接入点,每一个接入点用一个 Erlang 进程监控;
  3. 主逻辑模块:每个 Worker 每次处理一个业务请求;
  4. 大规模 publish:目标客户端数在200+,Worker 把 publish 分片,每个分片由一个 Erlang 进程处理;
  5. 离线消息性能问题:无线网络抖动频现,需保证离线消息送达率,一次 publish 有可能大量离线消息。

最后,张虎还就“为什么 Erlang‘难学’”这个问题分享了自己的经验,Erlang并不难学,首先,学习者对于函数式语言需要有几天的适应期,但还是有很多人都在工具链处放弃了。而云巴团队之所以会选择 Erlang 是因为其所带来的便利性,但工具链的确是阻碍 Erlang 普及的一大因素。

社区交流:关于 Erlang 你最关心的问题

最后,在火币网CTO程显峰的主持下,Erlang设计者Joe Armstrong、阿里云RDS技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba云巴CEO张虎一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。

直至今日,Armstrong 先生依然会写代码,也在现场分享了他的一天,从起床、看新闻,弹1小时左右的钢琴这些技术之外的事情,到突然之间迸发的灵感并将之付诸实践。对于编程语言,Armstrong 先生认为“编程语言该生而简单,语言需要保持简约性,必须简单好用,才能方便开发者的学习”。


更多精彩内容,请关注图文直播专题:SDCC 2016中国软件开发者大会,微博:@CSDN研发频道,订阅CSDN官方微信公众号(ID:CSDNnews),即时获取大会动态。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/byeweiyang/article/details/80126899

智能推荐

Linux系统结构-程序员宅基地

Linux系统结构包括内核、GNU工具、桌面环境和应用软件,这些部分相互配合,丰富了Linux系统的用途,值得我们深入学习。

喜讯:Ubuntu来到中国地级城市_中国地图各省份地级市shp-程序员宅基地

文章浏览阅读2.6k次。 根据Softpedia的一则报道,10月26日,预装Ubuntu操作系统的戴尔笔记本与台式机在江苏徐州、连云港、宿迁、盐城等地市的220多个零售店一起“开卖“,见图:(请见“Canonical Sells Ubuntu Dells in China”一文_中国地图各省份地级市shp

【深度学习注意力机制系列】—— ECANet注意力机制(附pytorch实现)_eca注意力机制-程序员宅基地

文章浏览阅读9.5k次,点赞9次,收藏102次。ECANet是一种高效的神经网络架构,通过引入通道注意力机制,能够有效地捕捉图像中的通道关系,提升特征表示的能力。它的结构包括通道注意力模块和嵌入式通道注意力模块,具有高效性、提升特征表示和减少过拟合等优势。通过这种设计,ECANet在图像处理任务中取得了优越的性能。_eca注意力机制

labelImg2旋转标注框数据及制作-程序员宅基地

文章浏览阅读5.8k次,点赞5次,收藏17次。我是直接在网上搜,在这里下载下来的:https://github.com/zuoqing1988/labelImg2。下载完成后直接在pycharm里打开的,或者也可以选择cmd或者AnacondaPrompt 里找到相应的路径打开。直接运行python labelImg.py就可以打开这个界面:①:Open Dir打开图片所在的位置;②:选择标签文件要存放的位置;③:画一个水平的矩形框;④:画一个可以旋转的矩形框(先画好一个框之后,点击要旋转的框,再点“z”或者“v”就可以将框进行旋转了,遗憾的_labelimg2

解决VS项目程序运行完就自动关闭窗口_vs运行窗口弹一下就没了-程序员宅基地

文章浏览阅读3.1k次。VS项目程序,跑程序的时候运行完,窗口就自动关闭了,不方便看运行过程相关数据,下面给出一种方法_vs运行窗口弹一下就没了

牛客网——两数之和_牛客网两数之和解析-程序员宅基地

文章浏览阅读75次。时间复杂度:O(n^2),于每个元素,我们试图通过遍历数组的其余部分来寻找它所对应的目标元素,这将耗费O(n)的时间。因此时间复杂度为 O(n²)空间复杂度:O(1),因为他没有用额外的空间,所以空间复杂度为1方法二:倒推法(哈希Map记录法)为了对运行时间复杂度进行优化,我们需要一种更有效的方法哈希表来检查数组中是否存在目标元素。如果存在,我们需要找出它的索引。一个简单的实现使用了两次迭代。在第一次迭代中,我们将每个元素的值和它的索引添加到表中,map中的key对应数组中的数值,value对_牛客网两数之和解析

随便推点

matlab 贝叶斯信息标准_Matlab关于贝叶斯的一点体会-程序员宅基地

文章浏览阅读304次。最近,开始学习和概率模型相关的智能算法。这类算法能解决的问题很多,包括模式识别(分类问题)、预测、决策等等。是非常具有实际应用价值的一类算法。当然,这类算法体系也非常的庞大,尤其是其中涉及高深的数学原理的方法众多。但是,显然,我们要讨论的问题算法并不属于此类(很大原因是因为我概率挂了)。我们今天讨论的重点将放在:如果一个概率我无法求得,那么我们有什么其他办法获得。首先,我们来考虑著名的“蒙特卡洛法..._matlab贝叶斯决策实验心得

JavaWeb学习总结(一)——JavaWeb开发入门-程序员宅基地

文章浏览阅读153次。一、基本概念1.1、WEB开发的相关知识  WEB,在英语中web即表示网页的意思,它用于表示Internet主机上供外界访问的资源。  Internet上供外界访问的Web资源分为:静态web资源(如html 页面):指web页面中供人们浏览的数据始终是不变。动态web资源:指web页面中供人们浏览的数据是由程序产生的,不同时间点访问web页面看到的内容各不相同。  静态web资源开发技术:Ht...

arcgis 无法编辑元素的解决办法(无法删除元素或者缺失值替换)_arcgis无法删除要素-程序员宅基地

文章浏览阅读363次。arcgis 无法编辑元素的解决办法(无法删除元素或者缺失值替换)_arcgis无法删除要素

redis 实现消息队列的三种方式_redis 创建队列-程序员宅基地

文章浏览阅读805次。"发布/订阅"模式同样可以实现进程间的消息传递,其原理如下:"发布/订阅"模式包含两种角色,分别是发布者和订阅者。订阅者可以订阅一个或者多个频道(channel),而发布者可以向指定的频道(channel)发送消息,所有订阅此频道的订阅者都会收到此消息。和数据结构中的普通链表一样,我们可以在其头部(left)和尾部(right)添加新的元素。在插入时,如果该键并不存在,Redis将为该键创建一个新的链表。发现消息已经被消费完了,消费方还不停的消费为NULL,这样造成不必要的浪费。关于List的命令如下。_redis 创建队列

干货满满,工业控制系统(PLC)安全专家必备的测试工具!_plc的测试系统-程序员宅基地

文章浏览阅读133次。硬件在回路技术与PLC相结合,将PLC的电机信号、开关量信号等各种控制信号转化成数学模型,与I/O接口模拟成为一个受控对象模型,将电压、电流、电磁、浪涌脉冲等硬件激励以及越界值、非法指令、桩程序段、靶子程序段等软件故障作为测试序列加载到受控对象模型,实际输出平均故障前时间MTBF、故障次数、故障率、可靠度等指标,通过类比系统实际输出与期望输出来验证PLC控制器。随着PLC控制系统在工业生产过程中得到了越来越广泛的应用,系统的安全可靠越来越受人们关注,基于PLC的工业控制系统测试成为亟待解决的问题。_plc的测试系统

Docker 架构-程序员宅基地

文章浏览阅读1.9k次,点赞2次,收藏6次。Docker 使用client-server 体系结构。Docker client (docker 客户端)与Docker daemon(docker 守护进程)进行对话,后者负责构建、运行和分发Docker容器。Docker客户端和守护进程可以在同一系统上运行,也可以将 Docker 客户端 连接到远程 Docker 守护进程。Docker 客户端 和 守护进程 使用REST API通过UNIX套接字或网络接口进行通信。_docker 架构

推荐文章

热门文章

相关标签