深入浅出DPDK学习笔记——前言

多核

2005年的夏天, 刚加入Intel的我们畅想着CPU多核时代的到来给软件业带来的挑战与机会。 如果要充分利用多核处理器, 需要软件针对并行化做大量改进, 传统软件的并行化程度不高, 在多核以前, 软件依靠CPU频率提升自动获得更高性能。 并行化改进不是一件简单的工作, 许多软件需要重新设计, 基本很难在短期实现, 整个计算机行业都对此纠结了很久。 2005年以前, 整个CPU的发展历史, 是不断提升芯片运算频率核心的做法, 软件性能会随着处理器的频率升高, 即使软件不做改动, 性能也会跟着上一个台阶, 但这样的逻辑进入多核时代已无法实现。 在过去10年里, 服务器平台的处理器核心数目扩展了很多。 英特尔至强系列的处理器的主要面向双通道(双路) 服务器和相应的硬件平台。与此同时, 基于MIPS、 Power、 ARM架构的处理器也经历着类似或者更加激进的并行化计算的路线图。 在处理器飞速发展的同时, 服务器平台在硬件技术上提供了支撑。 基于PCI Express的高速IO设备、 内存访问与带宽的上升相辅相成。 此外, 价格和经济性优势越发突出, 今天一台双路服务器的价格可能和10年前一台高端笔记本电脑的价格类似, 但计算能力达到甚至超越了当年的超级计算机。 强大的硬件平台为软件优化技术创新蕴蓄了温床。

以太网接口技术也经历了飞速发展。 从早期主流的10Mbit/s与100Mbit/s, 发展到千兆网(1Gbit/s) 。 到如今, 万兆(10Gbit/s) 网卡技术成为数据中心服务器的主流接口技术, 近年来, Intel等公司还推出了40Gbit/s、 100Gbit/s的超高速网络接口技术。 而CPU的运行频率基本停留在10年前的水平, 为了迎接超高速网络技术的挑战, 软件也需要大幅度创新。

结合硬件技术的发展, DPDK(Data Plane Development Kit) , 一个以软件优化为主的数据面技术应时而生, 它为今天NFV技术的发展提供了绝佳的平台可行性。

IXP

提到硬件平台和数据面技术, 网络处理器是无法绕过的话题。 电信行业通常使用网络处理器或类似芯片技术作为数据面开发平台首选。Intel此前也曾专注此领域, 2002年收购了DEC下属的研究部门, 在美国马萨诸塞州哈德逊开发了这一系列芯片, 诞生了行业闻名的IntelExchange Architecture Network Processor(IXP4xx、 IXP12xx、IXP24xx、 IXP28xx) 产品线, 曾取得行业市场占有率第一的成绩。 即使今日, 相信很多通信业的朋友, 还对这些处理器芯片有些熟悉或者非
常了解。 IXP内部拥有大量的微引擎(MicroEngine) , 同时结合了XSCALE作为控制面处理器, 众所周知, XSCALE是以ARM芯片为核心技术的一种扩展。

2006年, AMD向Intel发起了一场大战, 时至今日结局已然明了,Intel依赖麾下的以色列团队, 打出了新一代Core架构, 迅速在能效比上完成超车。 公司高层同时确立了Tick-Tock的研发节奏, 每隔两年推出新一代体系结构, 每隔两年推出基于新一代制造工艺的芯片。 这一战略基本保证了每年都会推出新产品。 当时AMD的处理器技术一度具有领先地位, 并触发了Intel在内部研发架构城门失火的状况下不得不进行重组, 就在那时Intel的网络处理器业务被进行重估, 由于IXP芯片系列的市场容量不够大, Intel的架构师也开始预测, 通用处理器多核路线有取代IXP专用处理芯片的潜力。 自此,IXP的研发体系开始调整, 逐步转向使用Intel CPU多核的硬件平台, 客观上讲, 这一转型为DPDK的产生创造了机会。时至今日, Intel还保留并发展了基于硬件加速的QuickAssist技术, 这和当日的IXP息息相关。 由此看来, DPDK算是生于乱世。

DPDK的历史

网络处理器能够迅速将数据报文接收入系统, 比如将64字节的报文以10Gbit/s的线速也就是14.88Mp/s(百万报文每秒) 收入系统, 并且交由CPU处理, 这在早期Linux和服务器平台上无法实现。 以VenkyVenkastraen、 Walter Gilmore、 Mike Lynch为核心的Intel团队开始了可行性研究, 并希望借助软件技术来实现, 很快他们取得了一定的技术突破, 设计了运行在Linux用户态的网卡程序架构。 传统上, 网卡驱动程序运行在Linux的内核态, 以中断方式来唤醒系统处理, 这和历史形成有关。 早期CPU运行速度远高于外设访问, 所以中断处理方式十分有效, 但随着芯片技术与高速网络接口技术的一日千里式发展, 报文吞吐需要高达10Gbit/s的端口处理能力, 市面上已经出现大量的25Gbit/s、40Gbit/s甚至100Gbit/s高速端口, 主流处理器的主频仍停留在3GHz以下。 高端游戏玩家可以将CPU超频到5GHz, 但网络和通信节点的设计基于能效比经济性的考量, 网络设备需要日以继夜地运行, 运行成本(包含耗电量) 在总成本中需要重点考量, 系统选型时大多选取2.5GHz以下的芯片, 保证合适的性价比。 I/O超越CPU的运行速率, 是横在行业面前的技术挑战。 用轮询来处理高速端口开始成为必然, 这构成了DPDK运行的基础

在理论框架和核心技术取得一定突破后, Intel与6wind进行了合作, 交由在法国的软件公司进行部分软件开发和测试, 6wind向Intel交付了早期的DPDK软件开发包。 2011年开始, 6wind、 Windriver、Tieto、 Radisys先后宣布了对Intel DPDK的商业服务支持。 Intel起初只是将DPDK以源代码方式分享给少量客户, 作为评估IA平台和硬件性能的软件服务模块, 随着时间推移与行业的大幅度接受, 2013年Intel将DPDK这一软件以BSD开源方式分享在Intel的网站上, 供开发者免费下载。 2013年4月, 6wind联合其他开发者成立www.dpdk.org的开源社区,DPDK开始走上开源的大道。

DPDK在代码开源后, 任何开发者都被允许通过www.dpdk.org提交代码。 随着开发者社区进一步扩大, Intel持续加大了在开源社区的投入, 同时在NFV浪潮下, 越来越多的公司和个人开发者加入这一社区,比如Brocade、 Cisco、RedHat、 VMware、 IBM, 他们不再只是DPDK的消费者, 角色向生产者转变, 开始提供代码, 对DPDK的代码进行优化和整理。 起初DPDK完全专注于Intel的服务器平台技术, 专注于利用处理器与芯片组高级特性, 支持Intel的网卡产品线系列。DPDK 2.1版本在2015年8月发布, 几乎所有行业主流的网卡设备商都已经加入DPDK社区, 提供源代码级别支持。 另外, 除了支持通用网卡之外, 能否将DPDK应用在特别的加速芯片上是一个有趣的话题, 有很多工作在进行中, Intel最新提交了用于Crypto设备的接口设计, 可以利用类似Intel的QuickAssit的硬件加速单元, 实现一个针对数据包加解密与压缩处理的软件接口。

在多架构支持方面, DPDK社区也取得了很大的进展, IBM中国研究院的祝超博士启动了将DPDK移植到Power体系架构的工作, Freescale的中国开发者也参与修改, Tilera与Ezchip的工程师也花了不少精力将DPDK运行在Tile架构下。 很快, DPDK从单一的基于Intel平台的软件,逐步演变成一个相对完整的生态系统, 覆盖了多个处理器、 以太网和硬件加速技术。
在Linux社区融合方面, DPDK也开始和一些主流的Linux社区合作, 并得到了越来越多的响应。 作为Linux社区最主要的贡献者之一的RedHat尝试在Fedora Linux集成DPDK; 接着RedHat Enterprise Linux在安装库里也加入DPDK支持, 用户可以自动下载安装DPDK扩展库。RedHat工程师还尝试将DPDK与Container集成测试, 并公开发布了运行结果。 传统虚拟化的领导者VMware的工程师也加入DPDK社区, 负责VMXNET3-PMD模块的维护。 Canonical在Ubuntu 15中加入了DPDK的支持。

由于DPDK主体运行在用户态, 这种设计理念给Linux或者FreeBSD这类操作系统带来很多创新思路, 也在Linux社区引发一些讨论。DPDK的出现使人们开始思考, Linux的用户态和内核态, 谁更适合进行高速网络数据报文处理。 从简单数据对比来看, 在Intel的通用服务器上, 使用单核处理小包收发, 纯粹的报文收发, 理想模型下能达到大约57Mp/s(每秒百万包) 。 尽管在真实应用中, 不会只收发报文不处理, 但这样的性能相对Linux的普通网卡驱动来说已经是遥不可及的高性能。 OpenVSwitch是一个很好的例子, 作为主流的虚拟交换开源软件, 也尝试用DPDK来构建和加速虚拟交换技术, DPDK的支持在OVS2.4中被发布, 开辟了在内核态数据通道之外一条新的用户态数据通道。 目前, 经过20多年的发展, Linux已经累积大量的开源软件, 具备丰富的协议和应用支持, 无所不能, 而数据报文进出Linux系统, 基本都是在Linux内核态来完成处理。 因为Linux系统丰富强大的功能, 相当多的生产系统(现有软件) 运行在Linux内核态, 这样的好处是大量软件可以重用, 研发成本低。 但也正因为内核功能强大丰富, 其处理效率和性能就必然要做出一些牺牲。

已标记关键词 清除标记
课程简介: 历经半个多月的时间,Debug亲自撸的 “企业员工角色权限管理平台” 终于完成了。正如字面意思,本课程讲解的是一个真正意义上的、企业级的项目实战,主要介绍了企业级应用系统中后端应用权限的管理,其中主要涵盖了六大核心业务模块、十几张数据库表。 其中的核心业务模块主要包括用户模块、部门模块、岗位模块、角色模块、菜单模块和系统日志模块;与此同时,Debug还亲自撸了额外的附属模块,包括字典管理模块、商品分类模块以及考勤管理模块等等,主要是为了更好地巩固相应的技术栈以及企业应用系统业务模块的开发流程! 核心技术栈列表: 值得介绍的是,本课程在技术栈层面涵盖了前端和后端的大部分常用技术,包括Spring Boot、Spring MVC、Mybatis、Mybatis-Plus、Shiro(身份认证与资源授权跟会话等等)、Spring AOP、防止XSS攻击、防止SQL注入攻击、过滤器Filter、验证码Kaptcha、热部署插件Devtools、POI、Vue、LayUI、ElementUI、JQuery、HTML、Bootstrap、Freemarker、一键打包部署运行工具Wagon等等,如下图所示: 课程内容与收益: 总的来说,本课程是一门具有很强实践性质的“项目实战”课程,即“企业应用员工角色权限管理平台”,主要介绍了当前企业级应用系统中员工、部门、岗位、角色、权限、菜单以及其他实体模块的管理;其中,还重点讲解了如何基于Shiro的资源授权实现员工-角色-操作权限、员工-角色-数据权限的管理;在课程的最后,还介绍了如何实现一键打包上传部署运行项目等等。如下图所示为本权限管理平台的数据库设计图: 以下为项目整体的运行效果截图: 值得一提的是,在本课程中,Debug也向各位小伙伴介绍了如何在企业级应用系统业务模块的开发中,前端到后端再到数据库,最后再到服务器的上线部署运行等流程,如下图所示:
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页