自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(60)
  • 资源 (9)
  • 收藏
  • 关注

原创 Scrapy学习笔记-基本库的使用requests

使用get方法成功实现一个GET请求,返回类型是requests .models.Response ,响应体的类型是字符串str,Cookies的类型是RequestsCookieJar 。给GET请求添加参数r.text返回类型实际上是str类型,但是它很特殊,是JSON格式的。所以,如果想直接解析返回结果,得到一个字典格式的话,可以直接调用json方法,返回结果是JSON 格式的字...

2020-04-30 23:34:59 6326

原创 读书笔记:Hadoop权威指南 简介

数据来自美国国家气候数据中心(National Climatic Data Center,简称NCDC)。这些数据按行并以ASCII格式存储,其中一行是一条记录。下面显示了一行采样数据,为了给读者了解字段,拆分解释。从1901年到2001年,每一年都有一个目录,每个目录中包含各个气象站该年气象数据的打包文件及说明文件。MapReduce任务过程分为凉饿处理阶段:map阶段和reduce阶段...

2020-04-29 21:59:45 6212

原创 读书笔记-第一本Docker书:Docker简介

Docker时一个能够把开发的应用程序自动部署到容器的开源引擎。Docker的核心组件:Docker客户端和服务器(也称为Docker引擎),Docker镜像,Registry,Docker容器。Docker客户端和服务器Docker是一个客户端/服务器架构的程序。Docker客户端只需向Docker服务器或守护进程发出请求,服务器或守护进程将完成所有工作并返回结果。Docker守护进程有时也...

2020-04-25 15:19:54 6348

原创 Scrapy学习笔记-使用Crontab定期执行爬虫
原力计划

通过前面的博客的讲解,我们学会了编写自己的第一个爬虫。下面介绍在redhat 6.5上使用Crontab定期执行该爬虫。首先按照前面的步骤新建爬虫项目,然后再新建一个start.sh脚本文件。测试crontab编写脚本,并测试效果。我们先测试一下crontab的执行效果,在脚本文件中写上如下代码cd /home/soft/tutorial echo test >> ./tes...

2020-04-24 20:34:12 6371

原创 Redhat 5.6下安装Anaconda3

直接下载速度太慢了清华大学开源镜像站https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D,找以Linux-x86_64.sh结尾的最新文件,比如我选此时最新Anaconda3-2020.02-Linux-x86_64.sh安装bash Anaconda3-2020.02-Linux-x86_64.sh...

2020-04-23 21:15:34 6594 5

原创 ubuntu 16.04 安装MongoDB 4.2 Community Edition

上一个博客我给Ubuntu 16.04安装了redis 5.0.8,这篇博客主要展示在该系统上安装MongoDB 4.2MongoDB 4.2社区版安装指南。使用本教程,可使用apt软件包管理器在Ubuntu Linux的LTS(长期支持)版本上安装MongoDB 4.2社区版。MongoDB Community Edition可从其自己的专用存储库中获得,并且包含以下官方支持的软件包:注...

2020-04-23 19:59:20 7055

原创 Scrapy学习笔记-解决Forbidden by robots.txt错误

去setting中设置ROBOTSTXT_OBEY为false。Scrapy默认遵守robots协议,所以针对某些网站,设置了robots.txt的规则,不允许爬取其中某些资源,则Scrapy就不会去爬取。通过去setting中设置ROBOTSTXT_OBEY为false:ROBOTSTXT_OBEY = False 即可不遵守协议,而去爬取对应页面内容了。...

2020-04-23 19:55:58 6389

原创 博客目录系列-旧电脑大改造Ubuntu 16.04系统

@[TOC] (旧电脑大改造)本博客是旧电脑大改造系列博客的目录,主要用于记录博主将旧电脑的改造为自己的存储测试节点的博客。适合想从window向Linux系统转变的小白进行参考。安装系统从Windows 7转为使用Ubuntu 16.04ubuntu 16.04-设置合上笔记本盖子不休眠基本软件安装ubuntu 16.04 安装SSH服务数据库软件安装redisubuntu 1...

2020-04-22 17:08:36 6465

原创 C++并发编程实战读书笔记——同步并发操作

One thread might need to wait for another thread to complete a task before the first thread can complete its own.等待事件waiting for an event当一个线程等待另一个线程完成任务时,它会有很多选择:第一,它可以持续的检查共享数据标志(由锁保护),直到另一个线程完成...

2020-04-22 16:02:44 6347

原创 Scrapy学习笔记-基本库的使用urllib

了解一下urllib库,它是Python内置的HTTP 请求库,也就是说不需要额外安装即可使用它,包含如下4 个模块。发送请求使用urllib的request模块,我们可以方便地实现请求的发送并得到响应。本节就来看下它的具体用法。urlopenurllib.request模块提供了最基本的构造HTTP请求的方法, 利用它可以模拟浏览器的一个请求发起过程, 同时它还带有处理授权验证( au...

2020-04-22 15:55:56 6404 1

转载 haipproxy学习分析-haipproxy架构及流程说明

这篇文章的目的是阐述haipproxy的主要架构和流程。该项目关键部分是基于Scrapy和Redis的分布式爬虫,用作IP抓取和校验,对应于项目的crawler基于Redis实现的分布式任务调度工具,对应于项目的scheduler和redis_util.pyCrawler分为代理抓取和校验,两者实现思想类似,主要使用Scrapy的spider_idle信号和DontCloseSpider...

2020-04-22 12:00:34 6500

原创 ubuntu 16.04 安装redis 5.0.8

上一个博客我给Ubuntu 16.04安装了SSH服务器,这篇博客主要展示在该系统上安装最新的redis 5.0.8,redis官方的地址为https://redis.io/download。在Linux安装软件通常有两种方式,第一种是通过各个操作系统的软件管理软件进行安装,例如CentOS有yum管理工具,Ubuntu有apt。但是由于Redis的更新速度相对较快,而这些管理工具不一定能更新到最...

2020-04-21 22:06:04 6489

原创 ubuntu 16.04-设置合上笔记本盖子不休眠

编辑下列文件:sudo vim /etc/systemd/logind.conf#HandlePowerKey按下电源键后的行为,默认power off#HandleSleepKey 按下挂起键后的行为,默认suspend#HandleHibernateKey按下休眠键后的行为,默认hibernate#HandleLidSwitch合上笔记本盖后的行为,默认suspend(改为ignore...

2020-04-21 17:37:12 7337

原创 ubuntu 16.04 安装SSH服务

上一个博客我将烂电脑从Windows 7系统转为了Ubuntu 16.04,这篇博客主要展示在该系统上启动SSH服务。Ubuntu16.04 桌面版默认只会安装ssh客户端,不会安装ssh服务器。也就是你可以使用ssh命令连接远程主机,但是你不能够连接本机。<------------------------------------------------------------------...

2020-04-21 17:00:05 6590

原创 Python使用MongoDB一

在PyCharm中安装Mongo Plugin在PyCharm中的菜单,依次选择File命令->选择settings命令->选择plugins命令->选择browse repositories命令->输入mongo,然后选择Mongo Plugin。重启PyCharm,可以在右侧看到Mongo Explorer。如果没有这个窗口,可以将鼠标光标停留在左下角的图标上,然后在...

2020-04-20 11:34:14 6360

原创 Scrapy学习笔记-Scrapy入门Following links

<ul class="pager"> <li class="next"> <a href="/page/2/">Next <span aria-hidden="true">&rarr;</span></a> </li></ul>Scrapy支持CSS扩展,可...

2020-04-19 21:30:38 6396

原创 Scrapy学习笔记-Scrapy入门之创建爬虫

Creating a project在开始抓取之前,您将必须设置一个新的Scrapy项目。 输入您要存储代码并运行的目录:scrapy startproject tutorialAnacoda下使用这将创建一个包含以下内容的教程目录:Spiders是您定义的类,Scrapy用于从网站(或一组网站)中获取信息。 他们必须继承Spider的子类,并定义要发出的初始请求,可以选择如何跟随页面...

2020-04-17 21:00:49 6425

原创 u-boot-1.1.6源码分析

u-boot-1.1.6编译及打补丁过称详见嵌入式学习分析配置过程: make 100ask24x0_config在Makefile文件中查找到100ask24x0_config条目,如下图:执行100ask24x0_config就相当于执行 @$(MKCONFIG) $(@:_config=) arm arm920t 100ask24x0 NULL s3c24x0MKCONF...

2020-04-16 17:20:17 6360

原创 读书笔记:windows程序设计

windows.h是一个最重要的包含文件,囊括若干其他头文件。下面是一些最基本的头文件:WINDEF.H(基本数据类型定义),WINNT.H(支持Unicode的类型定义),WINBASE.H(内核函数),WINUSER.H(用户界面函数),WINGDI.H(图形设备接口函数)每个Windows程序包含入口点函数(WinMain或wWinMain):int WINAPI wWinMain(HINS...

2020-04-16 17:18:28 6363

原创 Java学习笔记一Tomcat 8.5 的WebSocket 支持

只要服务器端有了新数据,服务端就可以直接将数据推送给浏览器,让浏览器显示最新的状态。WebSocket 规范己经相当成熟,而且各种主流浏览器(如Firefox 、Chrome 、Safari 、Opera 等)都己经支持Web Socket 技术, Java EE 规范则提供了Web Socket 服务端规范,而Tomcat 8.5 则对该规范提供了优秀的实现。使用Tomca t 8.5 开发We...

2020-04-16 15:47:36 6555

原创 Java学习笔记一自定义标签、JSTL、EL表达式

在JSP规范的1.1版中增加了自定义标签库规范,自定义标签库是一种非常优秀的表现层组件技术。通过使用自定义标签库,可以在简单的标签中封装复杂的功能。Web 开发需要一种可在页面中使用的标签,这种标签具有和HTML 标签类似的语法,但又可以完成JSP 脚本的功能这种标签就是JSP 自定义标签。在JSP 1.1 规范中开发自定义标签库比较复杂, JSP 2 规范简化了标签库的开发。在JSP 2 中开...

2020-04-16 14:15:16 6380

原创 Scrapy学习笔记-Scrapy例子和quotes网页分析

为了向您展示Scrapy带来了什么,我们将使用最简单的运行爬虫的方法向您介绍Scrapy Spider的示例。将下面代码放在文本文件中,将其命名为quotes_spider.py之类的名称,然后使用runspider命令运行程序:scrapy runspider quotes_spider.py -o quotes.jsonimport scrapyclass QuotesSpider(s...

2020-04-16 11:49:06 6701

原创 嵌入式学习-mini2440启动相关

mini2440启动模式:Nor Flash启动:Supervivi (类似于BIOS程序)Nand Flash启动:Supervivi + Kernel + RootFSJLink烧写文件到开发板:1.JLink烧写Nor Flash 2.JLink烧写Nand FlashJLink烧写Nor Flash1.开发板跳线打到Nor,接上JLINK,插在底板的JT...

2020-04-16 10:21:51 6416

原创 Scrapy学习笔记-体系结构

下图概述了Scrapy体系结构及其组件,并概述了系统内部发生的数据流(由红色箭头显示)。 下面包括对这些组件的简要说明,以及有关它们的更多详细信息的链接。Scrapy中的数据流由执行引擎控制,也就是图中菱形的框,如下所示:引擎会从爬虫组件获取初始请求以进行爬网。引擎在调度程序中调度请求,并请求下一个要爬网的请求。调度程序将下一个请求返回给引擎。引擎通过下载器中间件将请求发送到下载器(...

2020-04-15 21:48:57 6367

原创 WebSocket协议入门:WebSocket API

点击connect按钮,服务器代码显示点击send按钮,浏览器发送数据,服务器回送数据给浏览器。var wsServer = 'ws://192.168.189.155:9096/';ws代表websocket的意思。https://www.cnblogs.com/fuqiang88/p/5956363.html...

2020-04-15 17:24:00 6540

原创 WebSocket协议入门:WebSocket 协议

最早的Web应用程序使用表单和全页刷新。每当用户提交信息,浏览器将提交一个表单并读取新页面。每当有需要显示的更新信息,用户或者浏览器必须刷新整个页面,使用HTTP读取整个资源。利用JavaScript和XMLHttpRequest API,人们开发出了一组称为AJAX的技术,这项技术能够使应用程序在每次交互期间不会有不连贯的过渡。AJAX使应用程序只读取感兴趣的资源数据,并在没有导航得情况下更新页...

2020-04-15 17:23:16 6408

转载 vim如何修改只读文件

当我们使用vim编辑类似于/etc/network/interfaces这样的文件的时候总是会遇到权限问题不能保存,原因是所有的配置文件的权限只属于root。 那么怎样直接以root权限直接vim这些文件?方法是:结合sudo和tee两个命令来实现:w !sudo tee %解释如下::w – Write a file.!sudo – Call shell sudo ...

2020-04-15 14:31:32 6540

原创 密码学C/C++语言实现学习笔记——基本运算函数

密码学C/C++语言实现学习笔记基础数据结构:typedef unsigned short clint;typedef unsigned long clintd;书中所使用环境unsigned short是16位(2个字节)的,unsigned long是32位(4个字节)的。#define CLINTMAXDIGIT 256U CLINTMAXDIGIT指定程序能处理的最大位数(0x...

2020-04-15 14:29:47 6349

原创 密码学C/C++语言实现学习笔记——Rijndael实现

密码学C/C++语言实现学习笔记——Rijndael实现

2020-04-15 14:28:45 6440

原创 学习Python之pandas

学习Python之pandas 通过《利用Python进行数据分析》这本书对pandas库进行入门。pandas是基于NumPy构建的,让以NumPy为中心的应用变得更加简单。书中后续部分使用这样的pandas约定:In [1]: from pandas import Series, DataFrame和In [2]: import pandas as pd。pandas的两个主要数据结构为

2020-04-15 14:26:41 6380

原创 读书笔记:LINUX内核完全剖析:基于0.12内核 之基础

读书笔记:LINUX内核完全剖析 之基础16位微处理器Intel 8086 20条地址线(寻址范围1M)16条数据总线Intel 8088 8086的8位版,8条数据总线 IBM PC和PC/XT及同档次的兼容机都采用8088作为CPUIntel 80186Intel 80286 24条地址线(寻址范围16M)可按实方式和保护方式运行 实方式下只能寻址1M字节空

2020-04-15 14:24:34 6380

原创 Python3入门之一

Python3入门之一Python标识符大小写敏感。基本数据类型:int类型:Python所能表示的整数大小只受限于机器内存,而非固定数量的字节数。str类型字符串可以使用双引号或单引号封装-只要字符串头尾使用的符号是对称的。Python使用方括号[]来存取字符串等序列中的某一项,索引位置是从0开始计数的,例如"giraffe"[0]。字符就是指长度为1的字符串。

2020-04-15 14:20:12 6346

原创 Scrapy学习笔记-Anaconda下安装

安装 Scrapy参考自Scrapy的官方手册:https://docs.scrapy.org/en/latest/intro/install.htmlScrapy在CPython(默认Python实现)和PyPy(从PyPy 5.9开始)下的Python 3.5或更高版本上运行。Anaconda下安装如果您使用的是Anaconda或Miniconda,则可以从conda-forge渠道安...

2020-04-15 12:32:28 6419 1

原创 JavaWeb学习笔记-Spring 简介

Spring 框架由Rod Johnson 开发, 2004年发布了Spring 框架的第一个版本。经过十多年的发展,Spring 己经发展成Java EE 开发中最重要的框架之一。不仅如此,围绕Spring ,以Spring 为核心还衍生出了一系列框架,如Spring Web Flow 、Spring Security、Spring Data 、Spring Boot 、Spring Clou...

2020-04-14 21:05:22 6355

原创 Java学习笔记一Servlet三

Servlet是个特殊的Java类,每个Servlet可以响应客户端的请求。Servlet 提供不同的方法用于响应客户端请求。事实上,客户端的请求通常只有GET 和POST 两种, Serviet 为了响应这两种请求,必须重写doGet和doPost两个方法。如果Servlet为了响应4 种方式的请求,则需要同时重写上面的4 个方法。大部分时候, Servlet 对于所有请求的响应都是完全一样...

2020-04-14 16:30:27 6365

原创 Java学习笔记一JSP二 3个编译指令和7个动作指令以及9个内置对象

JSP 的编译指令是通知JSP引擎的消息,它不直接生成输出。编译指令都有默认值,因此开发人员无须为每个指令设置值。page 指令page 指令通常位于JSP 页面的顶端, 一个JSP 页面可以使用多条page 指令。page 指令的语法格式如下:...

2020-04-14 15:17:11 6462

原创 Java学习笔记一Cookie和Session

Cookie从浏览器中先访问demo1再访问demo2默认情况下,/Day15虚拟目录下的servlet是无法访问/Day16虚拟目录下的servlet设置的Cookie的。通过setPath函数设置为/,表明范围涵盖了Day15和Day16,也就是说Day15和Day16下所有servlet都可以访问到设置的cookie。案例Sessi...

2020-04-13 17:03:57 6340

原创 Java学习笔记一MySQL数据库与JDBC编程

JDBC基础ODBC(Open Database Connectivity)开放数据库连接。ODBC和JDBC(Java Database Connectivity)很像,严格来说,应该是JDBC模仿了ODBC的设计。ODBC也允许应用程序通过一组通用的API访问不同的数据库管理系统,从而使得基于ODBC的应用程序可以在不同的数据库之间切换。同样,ODBC也需要各数据库厂商提供相应的驱动程序,而...

2020-04-13 15:41:24 6391

原创 MySQL学习笔记-初级操作

DDL数据定义语言在建表时同时插入数据,新表的字段列表必须与子查询中的字段列表数量匹配。如果省略字段列表,则新表的列名与选择结果完全相同。create table 表名 [列名[, 列名...]] asslecet * from 其他表5. truncate对于大部分数据库而言,trucate都被当成DDL处理,truncate被称为截断某个表-它的作用是删除该表里的全...

2020-04-13 14:41:09 6424

原创 Java学习笔记一泛型

Java 5改写了集合框架中的全部接口和类,为这些接口、类增加了泛型支持,从而可以在声明集合变量、创建集合对象时传入类型实参。包含泛型声明的类型可以在定义变量、创建对象时传入一个类型实参,从而可以动态地生成无数多个逻辑上的子类,但这种子类在物理上并不存在。当创建带泛型声明的自定义类,为该类定义构造器时,构造器名还是原来的类名,不用增加泛型声明。例如,为Apple<T>类定义构造器,其...

2020-04-13 12:56:52 6332

经典算法大全

c语言算法大全,适合新手提升自我的书籍,真的就只能说这模多了

2014-11-18

qttest.rar

博客Qt Creator源码分析系列——UI界面:FancyActionBar类,附带测试的代码。主要是从Qt Creator源代码中剥离出的一些关于界面的代码进行测试和分析。

2020-02-21

信息可视化 交互设计

本书是英国著名信息可视化专家Robert Spence教授的代表作,也是世界范围内信息可视化领域最为经典的教材之一。该书结构清晰,内容丰富,案例翔实,系统地介绍了信息可视化的概念、技术和应用。通过本书的学习,读者可以了解信息可视化的基本概念和知识,同时培养可视化和交互设计的基本技能。

2019-01-21

实时碰撞检测算法技术

本书详细阐述了与碰撞检测问题相关的高效解决方案及相应的数据结构和算法,主要包括:碰撞检测系统中的设计问题、数学和几何学入门、包围体、基本图元测试、层次包围体技术、空间划分、BSP树层次结构、凸体算法、基于GPU的碰撞检测、数值健壮性、几何健壮性以及优化操作。另外,本书还提供了相应的算法、代码以及伪代码,以帮助读者进一步理解计算方案的实现过程。

2019-01-21

GPU Pro 7 - Advanced Rendering Techniques

游戏开发、计算机图形学和渲染领域的业界大牛们优秀经验的分享合辑汇编,是江湖各大武林门派绝学经典招式的精华荟萃,可谓游戏开发、图形学和渲染领域进阶知识精彩绝伦的饕餮盛宴。

2019-01-18

嵌入式系统 硬件与软件架构

书中涵盖了嵌入式系统的各个方面,内容分为4个部分:第一部分包括嵌入式系统的基本介绍以及一些必备的知识;第二部分介绍嵌入式硬件,包括处理器、存储器、I/O以及总线;第三部分是关于嵌入式软件的介绍,包括设备驱动、操作系统及中间件和应用软件;第四部分介绍了嵌入式系统的设计与开发。此外,书中还包括大量图和计算机代码,帮助读者理解嵌入式系统的理论知识。

2019-01-18

时间触发嵌入式系统设计模式

时间触发嵌入式系统设计模式 使用8051系列微控制器开发可靠应用

2018-02-04

DVCC-8086实验指导书

DVCC-8086实验指导书 计算机实验箱实验手册及具体电路

2015-07-10

HTML入门教材

入门级别的html教材,帮助新手快速入门

2015-01-25

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除