自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 资源 (9)
  • 收藏
  • 关注

原创 浪潮OpenRMC

浪潮OpenRMC状态总览Rack Level OverviewRMC框图RMC和BMC之间的连接Key Modules & Software Architecture代码Inspur OpenRMC based on OpenBMC implementation, code fork from OpenBMChttps://github.com/opencomputeproject/Rack-Manager/tree/master/Contrib-InspurInsp.

2020-09-30 22:30:57 2783

原创 阿里云云原生数据湖体系全解读——数据湖开发治理平台 DataWorks

数据湖的定义:wikipedia 中对于数据湖的定义是: “ A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files. A datalake is usually a single store of all enterprise data including raw copies of source system data and trans

2020-09-30 21:58:14 2977

原创 阿里云云原生数据湖体系全解读——数据湖 云原生计算引擎

云原生背景介绍与思考图是基于 ECS 底座的 EMR 架构, 这是一套非常完整的开源大数据生态, 也是近10 年来每个数字化企业必不可少的开源大数据解决方案。 主要分为以下几层:ECS 物理资源层, 也就是 Iaas 层。数据接入层, 例如实时的 Kafka, 离线的 Sqoop。存储层, 包括 HDFS 和 OSS, 以及 EMR 自研的缓存加速 JindoFS。计算引擎层, 包括熟知的 Spark, Presto、 Flink 等这些计算引擎。数据应用层, 如阿里自研的 DataWorks、 P

2020-09-30 21:51:41 2851

原创 阿里云云原生数据湖体系全解读——数据湖构建 数据导入

数据湖作为一个集中化的数据存储仓库, 支持的数据类型具有多样性, 包括结构化、 半结构化以及非结构化的数据, 数据来源上包含数据库数据、 binglog 增量数据、 日志数据以及已有数仓上的存量数据等.数据湖能够将这些不同来源、 不同格式的数据集中存储管理在高性价比的存储如 OSS 等对象存储中, 并对外提供统一的数据分析方式, 有效解决了企业中面临的数据孤岛问题, 同时大大降低了企业存储和使用数据的成本。由于数据湖数据来源的多样性, 如何简单高效的将这些异构数据源的数据迁移到中心化的数据湖存储中, 是

2020-09-30 13:04:24 2834

原创 阿里云云原生数据湖体系全解读——数据湖构建Data Lake Formation

大数据引擎现状在大数据计算和存储领域, 因不同业务场景、 不同数据规模, 诞生了很多适合处理不同需求的各类大数据引擎, 比如计算引擎类有数据分析引擎 Hive、 交互式分析引擎 Presto、迭代计算引擎 spark 以及流处理引擎 Flink 等, 存储类有日志存储系统的 SLS、 分布式文件系统 HDFS 等, 这些引擎和系统很好的满足了某一领域的业务需求, 但也存在非常严重的数据孤岛问题: 在同一份数据上综合使用这些系统, 必然面临着大量的 ETL 工作, 而且更关键的是在目前各种公司业务链路上这种

2020-09-30 12:47:24 2864

原创 阿里云云原生数据湖体系全解读——数据湖存储JindoDistCp 数据导入

数据湖就像是一个“ 大水池” , 是一种把各类异构数据进行集中存储的架构。 数据湖是一种存储架构, 在阿里云上可以利用 OSS 对象存储, 来当数据湖的地基。 企业基于阿里云服务, 可以快速挖出一个适合自己的"湖", 而且这个"湖"根据需求, 可大可小, 按"注水量"付费。 在挖好这个"湖"后, 重要的步骤就是如何把各种异构数据注入到湖里。 在传统的大数据领域用户经常使用 HDFS 作为异构数据的底层存储来储存大量的数据, 其中大部分可通过离线数据迁移来注入到以 OSS 作为底层存储的数据湖中。 在进行数据

2020-09-29 23:22:26 2810

原创 阿里云云原生数据湖体系全解读——数据湖加速JindoFS 计算节点数据缓存

Jindo 是阿里云基于 Apache Spark / Apache Hadoop 在云上定制的分布式计算和存储引擎。 Jindo 原是阿里云 开源大数据团队的内部研发代号, 取自筋斗(云)的谐音,Jindo 在开源基础上做了大量优化和扩展, 深度集成和连接了众多阿里云基础服务。JindoFS 是阿里云针对云上存储自研的大数据缓存加速服务, JindoFS 的设计理念是云原生: 弹性、 高效、 稳定和低成本。 JindoFS 完全兼容 Hadoop 文件系统接口, 给客户带来更加灵活、 高效的数据湖加速方

2020-09-29 23:16:07 2815 1

原创 阿里云云原生数据湖体系全解读——数据湖存储OSS 远程存储

随着数据量的爆发式增长, 数字化转型成为整个 IT 行业的热点, 数据也开始需要更深度的价值挖掘, 因此需要确保数据中保留的原始信息不丢失, 从而应对未来不断变化的需求。当前以 oracle 为代表的数据库中间件已经逐渐无法适应这样的需求, 于是业界也不断的产生新的计算引擎, 以便应对数据时代的到来。 在此背景下, 数据湖的概念被越来越多的人提起, 希望能有一套系统在保留数据的原始信息情况下, 又能快速对接多种不同的计算平台,从而在数据时代占的先机。什么是数据湖数据湖( Data Lake) 以集中式存

2020-09-29 22:47:08 2832

原创 什么是 PM,什么是 SCM,和 NVM 什么关系?

近几年,不论在学术界还是工业界,NVM 都是比较前沿的技术。其实 NVM 一词并不新,是因为 PM (或称 SCM) 这个与 NVM 有关的概念的出现,使得 NVM 这词又 “火” 了一把。在近年的相关文献中,NVM 也经常被和 PM (SCM) 混用,让人搞不清。本文捋一捋它们之间的关系。NVM准确来说,NVM (non-volatile memory) 指的是非易失的物理存储介质,比如 NAND flash、PCM、3D XPoint 等都算是 NVM,这些 NVM 可以做成 SSD 形式,也可以做

2020-09-29 21:43:26 2928

原创 阿里云云原生数据湖体系全解读——元原生数据湖体系

阿里云首次发布云原生数据湖体系,基于对象存储OSS、数据湖构建Data Lake Formation和E-MapReduce产品的强强组合,提供存储与计算分离架构下,涵盖湖存储、湖加速、湖管理和湖计算的企业级数据湖解决方案。数据湖“数据湖”正在被越来越多人提起, 尽管定义并不统一, 但企业们都已纷纷下水实践,无论是 AWS 还是阿里云、 华为。我们认为: 数据湖是大数据和 AI 时代融合存储和计算的全新体系。数据量爆发式增长的今天, 数字化转型成为 IT 行业的热点, 数据需要更深度的价值挖掘, 因此需

2020-09-28 23:40:17 3411

原创 Redhat 7 进入救援模式

等开机后出现grub界面选择kernel,按e进入编辑模式向下选择kernel那一行,Linux16开头将ro改成rw(只读变为可写)删除rhgb quiet,增加init=/sysroot/bin/sh(指定shell环境或/bin/bash)ctrl+x启动进入后命令提示符是/#,输入chroot /sysroot/ (改变根路径)进入救援模式,进行相应救援工作结束后,ctrl+d退出,重启...

2020-09-28 22:32:50 3198

原创 PG存储介质管理器(SMGR)——存储管理器类型:postgresql-8.4.1/src/backend/storage/smgr

相关代码的路径如下所示:/src/backend/storage/smgr。外存管理负责处理数据库与外存介质(在PostgreSQL中只实现了磁盘的管理操作)的交互过程。在PostgreSQL中,外存管理由SMGR(主要代码在smgr.c中)提供对外存操作的统一接口。SMGR负责统管各种介质管理器,会根据上层的请求选择具体的截止管理器进行操作。这里介绍磁盘管理器,每个表文件在磁盘中都以一定的结构进行存储,针对磁盘,外存管理模块提供了磁盘管理器和VFD机制。在PG 8.4.1版本中,还为每个表文件创建了两个附

2020-09-27 23:25:18 2825

原创 PostgreSQL数据库集簇

数据库集簇的逻辑结构数据库集簇(database cluster)是指由单个PostgreSQL服务器实例管理的数据库集合。(解读:数据库集簇是集合,其元素是数据库。一个PostgreSQL服务器实例只会在单机上运行并管理单个数据库集簇。注意这里表述中的两个”单“,即单机单个集簇,说明服务器实例不能跨多个主机,不能管理多个数据库集簇)。数据库集簇在本质上就是一个文件目录,其包含着一些列子目录与文件。(例如执行/opt/pgsql/bin/initdb -D /pgdata/10/data -W 在指定目录

2020-09-26 19:28:35 2825

原创 Linux内核安全模块学习-内核密钥管理子系统

本篇介绍密钥管理子系统,只涉及内核如何管理密钥,不涉及内核加密算法的实现。密钥本质上是一段数据,内核对它的管理有些类似对文件的管理。但是因为Linux内核不愿意让密钥像文件那样“静态”存储在磁盘或者其他永久性存储介质上,所以内核对密钥的管理又有些像对进程的管理,有创建、实例化、删除等操作。密钥密钥在内核代码中称为key,因为key是由用户态进程创建,由内核管理,其实体存储在内核申请的内存中,所以密钥管理需要实施配额管理。密钥有对称密钥和非对称密钥两大类,每类密钥又有很多种。密钥种类不同,payload中

2020-09-19 23:27:19 3058

原创 zlib——compress.c文件分析

下面代码是上一篇博客所讲的zpipe.c,主要用于和compress.c文件进行对比。#include <stdio.h>#include <string.h>#include <assert.h>#include "zlib.h"#if defined(MSDOS) || defined(OS2) || defined(WIN32) || defined(__CYGWIN__)# include <fcntl.h># include &lt

2020-09-17 23:27:02 3064

原创 zlib——Usage Example翻译

我们经常会遇到有关应如何使用deflate()和inflate()函数的问题。 用户想知道何时应该提供更多的输入,何时应该使用更多的输出,如何处理Z_BUF_ERROR,如何确保进程正确终止,等等。 因此,对于那些读过zlib.h(几次)并且想要进一步启发的人,下面是C中的一个带注释的示例,该示例使用deflate()和inflate()将输入文件压缩和解压缩为输出文件的简单例程。。 注释散布在代码行之间。 因此,请在两行之间阅读。 我们希望这有助于解释zlib的某些复杂之处。事不宜迟,这是程序zpipe.

2020-09-16 22:01:04 3049

原创 Python3入门之——浅拷贝和深拷贝

由于Python使用了对象引用,因此在使用赋值操作符(=)时,并没有进行赋值操作。如果右边的操作数是字面值,比如字符串或数字,那么左边的操作数被设置为一个对象引用,该对象引用将指向存放字面值的内存对象。如果右边的操作数是一个对象引用,那么左边的操作数将设置为一个对象引用,并与右边的操作数指向相同的对象。浅拷贝如果需要组合类型数据(或其他可变对象)的一个单独副本。对于序列,在提取数据片时,数据片总是取自某个数据项的一个单独副本。对于字典与集合而言,这种复制操作可以使用dict.copy()与set

2020-09-09 22:35:46 3224

原创 SSH报错:ssh_exchange_identification: read: Connection reset by peer

ssh连接主机时,出现如下报错如何解决ssh root@172.25.254.160ssh_exchange_identification: read: Connection reset by peer使用-v选项查看详细信息## -v表示查看连接详细信息ssh -v root@172.25.254.160解决方案:在服务端更改配置文件vi /etc/hosts.allow#########################sshd: ALL ##允许所有ip主机均能连接本机

2020-09-09 12:53:54 3305

原创 Python3入门之——迭代子

iterable数据类型每次返回其中的一个数据项。任意包含__iter__()方法的对象或任意序列(也即包含__getitem__()方法的对象,该方法接受从0开始的整数参数)都是一个iterable,并可以提供一个迭代子。迭代子是一个对象,该对象可以提供__next__()方法,该方法依次返回每个相继的数据项,并在没有数据项时产生StopIteration异常。数据项返回的顺序依赖于底层的iterable。对列表与元组等情况,数据项的返回通常从第一个数据项(索引位置0)开始依序返回,但是有些迭代子

2020-09-08 23:18:41 3221

转载 Hadoop+ZooKeeper+HBase集群配置

转载自来源:Linux社区 作者:jpiverson因为需要使用Hadoop环境进行测试,收集安装教程,学习一下通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker,这些机器是masters。余下的机器即作为DataNode也作为TaskTracker,这些机器是slaves。先决条件确保在你集群中的每个节点上都安装了所有必需软件:JDK,ssh。ssh 必须安装并且保证 sshd一直运行,并使用无密码链接的形式,以便用Hadoop 脚本管理端Hadoop

2020-09-07 13:02:37 3351

原创 FPGA云原生 Mailbox通信

Mailbox Subdevice Driver这是添加到现有xclmgmt/xocl驱动程序中的邮箱子设备驱动程序,以便用户pf和mgmt pf可以向/从对等方发送和接收任意长度的消息。 该驱动程序是根据pg114文档(https://www.xilinx.com/support/documentation/ip_documentation/mailbox/v2_1/pg114-mailbox.pdf)的规范编写的。 硬件提供一个TX通道和一个RX通道,它们彼此完全独立地运行。 可以将数据DWORD单.

2020-09-04 13:01:19 3473

原创 Python入门之——logging日志模块 通过gppylib.gplog学习logging模块使用

gppylib.gplog在文件lib/python/gppylib/gplog.py下。该模块包含一些建立python内建logging模块的帮助函数。主要是方便tool、helper等模块建立各自的Logger(setup_helper_tool_logging和setup_tool_logging函数)。我们通过一个例子来对该文件中相关函数进行分析。 from gppylib import gplog logger = gplog.setup_tool_logging(EXECNAME, ho

2020-09-03 13:09:06 3460

原创 PG目录操作封装——dirent一:postgresql-8.4.1\src\port\dirent.c

主要用于对目录数据结构和目录操作函数的封装dirent分析头文件的路径如下所示:/src/include/port/win32_msvc/dirent.h。该文件主要是win32 native目录操作函数的封装。从源代码目录接口可以看出该文件主要作用是针对win32_msvc的移植文件,这里的port就是移植的意思。这些封装主要依靠DIR和dirent两个结构体来存储信息以及和其他文件进行交互。DIR中有指向char的指针dirname,用于存放目录名的char数组,dirent结构体和handle句柄

2020-09-03 00:00:01 3372

原创 关系型数据库学习手记——初见倾心PostgreSQL与MySQL

关系型数据库系统理论知识数据库系统概念读书笔记-引言数据库系统概念读书笔记-关系数据库PostgreSQLRedhat 7下安装PostgreSQL 10学习笔记学习资料MySQL学习笔记Window下MySQL 8.0重新设置密码Windows 下的MySQL 5.5的卸载配置备份还原MySQL学习笔记-初级操作MySQL必知必会读书笔记Java学习笔记一MySQL数据库与JDBC编程Java学习笔记一JDBC Template使用一学习资料...

2020-09-02 22:16:08 3449

原创 Python入门之——logging日志模块 Basic Logging Tutorial

logging — Logging facility for Python 源代码位置:Lib/logging/__init__.py该模块定义函数和类,这些函数和类为应用程序和库实现了灵活的事件日志记录系统。由标准库模块提供的日志记录API的主要好处是所有Python模块都可以参与日志记录,因此您的应用程序日志可以包括您自己的消息以及与第三方模块的消息集成的消息。下面列出了模块定义的基本类及其功能。Loggers expose the interface that application code

2020-09-02 21:35:17 3457

原创 Python3入门之——序列类型

序列类型支持成员关系操作符(in)、大小计算函数(len)、分片([]),并且是可迭代的。Python提供了5种内置的序列类型:bytearray、bytes、list、str与tuple。元组tuple元组是个有序的序列,其中包含0个或多个对象引用。元组支持与字符串一样的分片与步距的语法,这使得从元组中提取数据项比较容易。元组是固定的,不能替换或删除其中包含的任意数据项。可以使用list()转换函数将其转换为列表。tuple数据类型可以作为一个函数调用,不指定参数将返回一个空元组,使用tuple作为

2020-09-01 23:14:53 3466

原创 Python入门之——getopt模块

getopt.getopt(args, options[, long_options])对于短格式options,-号后要紧跟一个选项字母。如果还有此选项的附加参数,可以用空格分开,也可以不分开,长度任意,可以用引号(比如-uroot、-u root、-u"root"、-u’root’、-u “root”、-u ‘root’)。对于长格式long_options,–号后要紧跟一个单词。如果还有参数要附加,后面要紧跟=,再加上参数,等号前后都不能有空格。?vrJ:p:u:h:f: 也可以写为 -?-v-

2020-09-01 13:14:58 3576

经典算法大全

c语言算法大全,适合新手提升自我的书籍,真的就只能说这模多了

2014-11-18

qttest.rar

博客Qt Creator源码分析系列——UI界面:FancyActionBar类,附带测试的代码。主要是从Qt Creator源代码中剥离出的一些关于界面的代码进行测试和分析。

2020-02-21

信息可视化 交互设计

本书是英国著名信息可视化专家Robert Spence教授的代表作,也是世界范围内信息可视化领域最为经典的教材之一。该书结构清晰,内容丰富,案例翔实,系统地介绍了信息可视化的概念、技术和应用。通过本书的学习,读者可以了解信息可视化的基本概念和知识,同时培养可视化和交互设计的基本技能。

2019-01-21

实时碰撞检测算法技术

本书详细阐述了与碰撞检测问题相关的高效解决方案及相应的数据结构和算法,主要包括:碰撞检测系统中的设计问题、数学和几何学入门、包围体、基本图元测试、层次包围体技术、空间划分、BSP树层次结构、凸体算法、基于GPU的碰撞检测、数值健壮性、几何健壮性以及优化操作。另外,本书还提供了相应的算法、代码以及伪代码,以帮助读者进一步理解计算方案的实现过程。

2019-01-21

GPU Pro 7 - Advanced Rendering Techniques

游戏开发、计算机图形学和渲染领域的业界大牛们优秀经验的分享合辑汇编,是江湖各大武林门派绝学经典招式的精华荟萃,可谓游戏开发、图形学和渲染领域进阶知识精彩绝伦的饕餮盛宴。

2019-01-18

嵌入式系统 硬件与软件架构

书中涵盖了嵌入式系统的各个方面,内容分为4个部分:第一部分包括嵌入式系统的基本介绍以及一些必备的知识;第二部分介绍嵌入式硬件,包括处理器、存储器、I/O以及总线;第三部分是关于嵌入式软件的介绍,包括设备驱动、操作系统及中间件和应用软件;第四部分介绍了嵌入式系统的设计与开发。此外,书中还包括大量图和计算机代码,帮助读者理解嵌入式系统的理论知识。

2019-01-18

时间触发嵌入式系统设计模式

时间触发嵌入式系统设计模式 使用8051系列微控制器开发可靠应用

2018-02-04

DVCC-8086实验指导书

DVCC-8086实验指导书 计算机实验箱实验手册及具体电路

2015-07-10

HTML入门教材

入门级别的html教材,帮助新手快速入门

2015-01-25

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除