python-爬虫学习1：爬虫原理（纯理论篇）
一、爬虫定义 简单说的话，爬虫就像一个虚拟的虫子，然后利用这只虫子，我们可以在网上获取到我们想要的信息。 二、爬虫的工作原理 浏览器工作原理 一般情况下，我们获取数据都是打开浏览器，然后搜索关键字，浏览器去工作，然后显示出来我们要的数据，我们再进行复制粘贴或者其他操作。 类似于下图 这里的客户端是我 ... 查看全文
springmvc入门
一、文件结构 二、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema ... 查看全文
Spring Cloud OpenFeign REST服务客户端
OpenFeign是什么？ OpenFeign是REST服务客户端，REST其实就是HTTP啦，所以OpenFeign其实就是HTTP客户端，那么他和HttpClient有什么不同呢 OpenFeign的使用方法更加的简单 OpenFeign配合Spring的HttpMessageConverter ... 查看全文
【转】Spring MVC/Boot 统一异常处理最佳实践
原文链接：http://www.zhaojun.im/springboot-exception/ 前言 在 Web 开发中, 我们经常会需要处理各种异常, 这是一件棘手的事情, 对于很多人来说, 可能对异常处理有以下几个问题: 什么时候需要捕获(try-catch)异常, 什么时候需要抛出(thro ... 查看全文
python 添加随即user_agent和随即IP来抓取 前提自己先抓去好IP并且测验好可用 并添加IP失败后 使用其他IP重试
#在middlewares 件中添加以下类 实现随即 user_AGENT class NovelUserAgentMiddleWare(object): #随即user_AGENT def __init__(self): self.user_agent_list = [ "Mozilla/5.0 ... 查看全文
shell数组中元素含有空格处理
array=("I am Chinese" "Good") 错误用法 for item in ${array[@]}; do echo $item done 结果： I am Chinese Good 正确用法 for item in "${array[@]}"; do echo $item don ... 查看全文
用分治算法解决汉诺塔问题
分治算法的介绍 基本思想：分而治之（Divide and conquer） 模式： 设置一个阈值N0 当问题规模p小于N0时，采用基本子算法 当规模大于N0时，将问题分解再合并 汉诺塔问题 思路： 当片数n=1时：将一片从A移动到C 当片数n>=2时： 将所有片看作两部分，最下面一片为单独一部分， ... 查看全文
周明：预训练模型在多语言、多模态任务的进展
道翰天琼认知智能机器人平台API接口大脑为您揭秘。本文解读的是论文《BidirectionalAttentionNetworkforMonocularDepthEstimation》，论文作者来自华为加拿大诺亚方舟实验室。该论文解读首发于“AI算法修炼营”。这是一篇将双向注意力机制用于弹幕深度估计的工作。主要的创新点在视觉注意力机制的基础上引入了前向和后向注意力模块，这些模块可以有效地整合局部和全 查看全文
Java程序员要学习j2ee就要先学习j2se
Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE。 这三块相互补充，应用范围不同。 J2SE就是Java2的标准版，主要用于桌面应用软件的编程； J2ME主要应用于嵌入是系统开发，如手机和PDA的编程； J2EE是Java2的企业版，主要用于分布式的网络程序的开发，如电子商 ... 查看全文
Python之文件操作及常用函数
常见全局函数： 1.dir(nameStr): 常见系统变量： 1.sys.path:一个包含Python自动搜索文件的路径或目录的列表。可使用列表的操作方法修改、增加默认搜索路径。 一、模块 1.创建模块：创建一个扩展名为.py的文件就相当于创建了一个模块，文件名即为模块名，文件中的内容即为模块所 ... 查看全文
【Go语言中文网】资深Go开发工程师第二期
下载地址：百度网盘2020最新版【Go语言中文网】资深Go开发工程师第二期Go作为专门为并发和大数据设计的语言，在编程界占据越来越重要的地位！不论是c/c++，php，java，重构首选语言就是Go~本次课程特邀谷歌资深工程师，将Go语言使用经验总结归纳，从Go语言基本语法到函数式编程、并发编程，最后构建分布式爬虫系统，步步深入，带你快速掌握Go语言！适合人群及技术储备要求如果你已经掌握了一门编程 查看全文
如何用javadoc生成java帮助文档
如何用javadoc生成java帮助文档 找到要生成帮助文档的.java文件位置，在地址栏最前面输入cmd+空格，打开doc窗口。 先输入javac+空格 文件名+.java，生成.class文件 输入java+空格，文件名 输入：javadoc -encoding UTF-8 -charset U ... 查看全文
Python3网页爬取
常见问题 urllib.error.HTTPError: HTTP Error 403: Forbidden 有些服务器会拒绝非浏览器查看内容，此时需要添加headers参数，将爬虫程序伪装成浏览器 Chrome版本信息 地址：chrome://version/ 1 # coding: utf-8 ... 查看全文
CentOS7.6更新python3.8本版
系统环境:CentOS7.6系统状态:关闭selinux、firewalld安装依赖包:[root@rhel7Python-3.8.0]#yuminstallzlib-develbzip2bzip2-develreadline-develsqlitesqlite-developenssl-develxzxz-devellibffi-devel(重启)一、下载python3.8版本[root@rhe 查看全文
什么是分布式一致性hash算法，解决的问题又是啥
概述平常在请求服务的时候，负载均衡一般会用到随机访问，但是随机访问的缺点是负载不均衡，有的服务请求的次数多，有的少；轮询，请求分配均衡，但是如果性能好的机器，想多分配些不行，导致资源白白浪费；权重轮询，权重静态配置，不灵活。hash取模策略，如果某台机器宕机，就会导致返回服务失败。分库分表的时候采取hash取模，如果是增加机器或者是减少机器，数据迁移就会全局迁移，因为机器数据增加或者减少，导致取模 查看全文
curl和wget的区别和使用
https://www.cnblogs.com/lsdb/p/7171779.html curl和wget基础功能有诸多重叠，如下载等。 非要说区别的话，curl由于可自定义各种请求参数所以在模拟web请求方面更擅长；wget由于支持ftp和Recursive所以在下载文件方面更擅长。类比的话cur ... 查看全文
jsp隐式对象 （输入/输出对象：request） （二）
jsp隐式对象 （输入/输出对象） request response out 1：request对象 用户输入的数据用来存放在Request对象中，用javax.servlet.HttpServletRequest执行 *接受数据 <body> <% out.println("协议版本类型和版本号： ... 查看全文
html 中弹出遮罩层设置
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>host</title> <style> <!-- 隐藏设置--> .hide{ display: none; } <!-- 遮罩层样式--> .shade{ ... 查看全文
vue与animate.css 结合使用在可视区域内动态展示的自定义指令
1、vue自定义指令 Vue.directive('class', { inserted: function (el, binding) { // 聚焦元素 binding.addClass = () => { const { top } = el.getBoundingClientRect() c ... 查看全文