厦门seo网站优化_抖音代运营方案模板_chatgpt 网站_网络营销专业毕业论文

Python - 爬虫之curl

一、wget

"wget" 这个名称来源于 “World Wide Web” 与 “get” 的结合。

wget 是在 Linux 下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括 Windows 在内的各个平台上。 wget 是一个下载文件的工具，它用在命令行下。对于 Linux 用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。

如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善，它支持断点下载功能，同时支持FTP和HTTP下载方式，支持代理服务器和设置起来方便简单。

wget具有以下功能和特点：

（1）支持断点下传

（2）同时支持FTP和HTTP下载方式

（3）支持代理服务器

常见操作系统上安装 wget 的方法：

1、在 Ubuntu/Debian 系统上安装 wget

打开终端，然后运行以下命令：

sudo apt updatesudo apt install wget

2、在 CentOS/RHEL 系统上安装 wget

对于 CentOS/RHEL 7 或更早版本，可以使用 yum：

sudo yum install wget

对于 CentOS/RHEL 8 或 Fedora，使用 dnf：

sudo dnf install wget

3、在 macOS 上安装 wget（使用 Homebrew）

如果你使用的是 macOS，并且希望通过 Homebrew 来安装 wget，首先需要安装 Homebrew（如果尚未安装）：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

然后，使用 Homebrew 安装 wget：

brew install wget

4、在 Windows 上安装 wget（使用 Chocolatey）

如果你在 Windows 上，并且想通过 Chocolatey 来安装 wget（类似于 Linux 的包管理器），首先需要安装 Chocolatey：

Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))

然后，使用 Chocolatey 安装 wget：

choco install wget

验证安装

安装完成后，你可以通过运行以下命令来验证 wget 是否正确安装：

wget --version

更多参数：man wget

wget -h 或者 wget --help

命令格式： 
wget [参数列表] [目标软件、网页的网址]             //  用法： wget [选项]... [URL]...长选项所必须的参数在使用短选项时也是必须的。启动：-V,  --version                   显示 Wget 的版本信息并退出-h,  --help                      打印此帮助-b,  --background                启动后转入后台-e,  --execute=命令              运行一个“.wgetrc”风格的命令日志和输入文件：-o,  --output-file=文件          将日志信息写入 FILE-a,  --append-output=文件        将信息添加至 FILE-d,  --debug                     打印大量调试信息-q,  --quiet                     安静模式 (无信息输出)-v,  --verbose                   详尽的输出 (此为默认值)-nv, --no-verbose                关闭详尽输出，但不进入安静模式--report-speed=类型         以 <类型> 报告带宽。类型可以是 bits-i,  --input-file=文件           下载本地或外部 <文件> 中的 URL-F,  --force-html                把输入文件当成 HTML 文件-B,  --base=URL                  解析相对于 URL 的 HTML 输入文件链接 (-i -F)--config=文件               指定要使用的配置文件--no-cookies                不读取任何配置文件--rejected-log=文件         将拒绝 URL 的原因写入 <文件>。下载：-t,  --tries=数字                设置重试次数为 <数字> (0 代表无限制)--retry-connrefused         即使拒绝连接也是重试-O,  --output-document=文件      将文档写入 FILE-nc, --no-clobber                不要下载已存在将被覆盖的文件-c,  --continue                  断点续传下载文件--start-pos=偏移量          从由零计数的 <偏移量> 开始下载--progress=类型             选择进度条类型--show-progress             在任意啰嗦状态下都显示进度条-N,  --timestamping              只获取比本地文件新的文件--no-if-modified-since      不要在时间戳 (timestamping) 模式下使用if-modified-since get 条件请求--no-use-server-timestamps  don't set the local file's timestamp bythe one on the server-S,  --server-response           打印服务器响应--spider                    不下载任何文件-T,  --timeout=SECONDS           将所有超时设为 SECONDS 秒--dns-timeout=SECS          设置 DNS 查寻超时为 SECS 秒--connect-timeout=SECS      设置连接超时为 SECS 秒--read-timeout=SECS         设置读取超时为 SECS 秒-w,  --wait=SECONDS              等待间隔为 SECONDS 秒--waitretry=SECONDS         在获取文件的重试期间等待 1..SECONDS 秒--random-wait               获取多个文件时，每次随机等待间隔 (0.5~1.5)*WAIT 秒--no-proxy                  禁止使用代理-Q,  --quota=数字                设置获取配额为 <数字> 字节--bind-address=ADDRESS      绑定至本地主机上的 ADDRESS (主机名或是 IP)--limit-rate=RATE           限制下载速率为 RATE--no-dns-cache              关闭 DNS 查询缓存--restrict-file-names=系统  限定文件名中的字符为 <系统> 允许的字符--ignore-case               匹配文件/目录时忽略大小写-4,  --inet4-only                仅连接至 IPv4 地址-6,  --inet6-only                仅连接至 IPv6 地址--prefer-family=地址族      首先连接至指定家族（IPv6，IPv4 或 none）的地址--user=用户                 将 ftp 和 http 的用户名均设置为 <用户>--password=密码             将 ftp 和 http 的密码均设置为 <密码>--ask-password              提示输入密码--no-iri                    关闭 IRI 支持--local-encoding=ENC        使用 ENC 作为 IRI (国际化资源标识符) 的本地编码--remote-encoding=ENC       使用 ENC 作为默认远程编码--unlink                    覆盖前移除文件目录：-nd, --no-directories            不创建目录-x,  --force-directories         强制创建目录-nH, --no-host-directories       不要创建主 (host) 目录--protocol-directories      在目录中使用协议名称-P,  --directory-prefix=前缀     保存文件到 <前缀>/..--cut-dirs=数字             忽略远程目录中 <数字> 个目录层。HTTP 选项：--http-user=用户            设置 http 用户名为 <用户>--http-password=密码        设置 http 密码为 <密码>--no-cache                  不使用服务器缓存的数据。--default-page=NAME         改变默认页 (通常是“index.html”)。-E,  --adjust-extension          以合适的扩展名保存 HTML/CSS 文档--ignore-length             忽略头部的‘Content-Length’区域--header=字符串             在头部插入 <字符串>--max-redirect              每页所允许的最大重定向--proxy-user=用户           使用 <用户> 作为代理用户名--proxy-password=密码       使用 <密码> 作为代理密码--referer=URL               在 HTTP 请求头包含‘Referer: URL’--save-headers              将 HTTP 头保存至文件。-U,  --user-agent=代理           标识自己为 <代理> 而不是 Wget/VERSION。--no-http-keep-alive        禁用 HTTP keep-alive (持久连接)。--no-cookies                不使用 cookies。--load-cookies=文件         会话开始前从 <文件> 中载入 cookies。--save-cookies=文件         会话结束后保存 cookies 至 FILE。--keep-session-cookies      载入并保存会话 (非永久) cookies。--post-data=字符串          使用 POST 方式；把 <字串>作为数据发送。--post-file=文件            使用 POST 方式；发送 <文件> 内容。--method=HTTP方法           在请求中使用指定的 <HTTP 方法>。--post-data=字符串          把 <字串> 作为数据发送，必须设置 --method--post-file=文件            发送 <文件> 内容，必须设置 --method--content-disposition       当选择本地文件名时允许 Content-Disposition头部 (实验中)。--content-on-error          在服务器错误时输出接收到的内容--auth-no-challenge         不先等待服务器询问就发送基本 HTTP 验证信息。HTTPS (SSL/TLS) 选项：--secure-protocol=PR         选择安全协议，可以是 auto、SSLv2、SSLv3、TLSv1、PFS 中的一个。--https-only                 只跟随安全的 HTTPS 链接--no-check-certificate       不要验证服务器的证书。--certificate=文件           客户端证书文件。--certificate-type=类型      客户端证书类型，PEM 或 DER。--private-key=文件           私钥文件。--private-key-type=类型      私钥文件类型，PEM 或 DER。--ca-certificate=文件        带有一组 CA 证书的文件。--ca-directory=DIR           保存 CA 证书的哈希列表的目录。--ca-certificate=文件        带有一组 CA 证书的文件。--pinnedpubkey=FILE/HASHES  Public key (PEM/DER) file, or any numberof base64 encoded sha256 hashes preceded by'sha256//' and seperated by ';', to verifypeer againstHSTS 选项：--no-hsts                   禁用 HSTS--hsts-file                 HSTS 数据库路径（将覆盖默认值）FTP 选项：--ftp-user=用户             设置 ftp 用户名为 <用户>。--ftp-password=密码         设置 ftp 密码为 <密码>--no-remove-listing         不要删除‘.listing’文件--no-glob                   不在 FTP 文件名中使用通配符展开--no-passive-ftp            禁用“passive”传输模式--preserve-permissions      保留远程文件的权限--retr-symlinks             递归目录时，获取链接的文件 (而非目录)FTPS 选项：--ftps-implicit                 使用隐式 FTPS（默认端口 990）--ftps-resume-ssl               打开数据连接时继续控制连接中的 SSL/TLS 会话--ftps-clear-data-connection    只加密控制信道；数据传输使用明文--ftps-fallback-to-ftp          回落到 FTP，如果目标服务器不支持 FTPS
WARC 选项：--warc-file=文件名          在一个 .warc.gz 文件里保持请求/响应数据--warc-header=字符串        在头部插入 <字符串>--warc-max-size=数字        将 WARC 的最大尺寸设置为 <数字>--warc-cdx                  写入 CDX 索引文件--warc-dedup=文件名         不要记录列在此 CDX 文件内的记录--no-warc-compression       不要 GZIP 压缩 WARC 文件--no-warc-digests           不要计算 SHA1 摘要--no-warc-keep-log          不要在 WARC 记录中存储日志文件--warc-tempdir=目录         WARC 写入器的临时文件目录递归下载：-r,  --recursive                 指定递归下载-l,  --level=数字                最大递归深度 (inf 或 0 代表无限制，即全部下载)。--delete-after             下载完成后删除本地文件-k,  --convert-links            让下载得到的 HTML 或 CSS 中的链接指向本地文件--convert-file-only         convert the file part of the URLs only (usually known as the basename)--backups=N                 写入文件 X 前，轮换移动最多 N 个备份文件-K,  --backup-converted         在转换文件 X 前先将它备份为 X.orig。-m,  --mirror                   -N -r -l inf --no-remove-listing 的缩写形式。-p,  --page-requisites          下载所有用于显示 HTML 页面的图片之类的元素。--strict-comments          用严格方式 (SGML) 处理 HTML 注释。递归接受/拒绝：-A,  --accept=列表               逗号分隔的可接受的扩展名列表-R,  --reject=列表               逗号分隔的要拒绝的扩展名列表--accept-regex=REGEX        匹配接受的 URL 的正则表达式--reject-regex=REGEX        匹配拒绝的 URL 的正则表达式--regex-type=类型           正则类型 (posix|pcre)-D,  --domains=列表              逗号分隔的可接受的域名列表--exclude-domains=列表      逗号分隔的要拒绝的域名列表--follow-ftp                跟踪 HTML 文档中的 FTP 链接--follow-tags=列表          逗号分隔的跟踪的 HTML 标识列表--ignore-tags=列表          逗号分隔的忽略的 HTML 标识列表-H,  --span-hosts                递归时转向外部主机-L,  --relative                  仅跟踪相对链接-I,  --include-directories=列表  允许目录的列表--trust-server-names        使用重定向 URL 的最后一段作为本地文件名-X,  --exclude-directories=列表  排除目录的列表-np, --no-parent                 不追溯至父目录

wget常用命令

‌-O, --output-document=FILE‌：指定输出文件名‌12。
‌-P, --directory-prefix=PREFIX‌：将所有文件保存到目录 PREFIX/‌12。
‌-c, --continue‌：继续下载部分完成的文件（断点续传）‌12。
‌-b, --background‌：启动后转入后台执行‌12。
‌-t, --tries=NUMBER‌：设置最大重试次数（0 表示无限制）‌12。
‌-w, --wait=SECONDS‌：两次尝试之间等待 SECONDS 秒（此选项在部分搜索结果中未提及，但属于wget的可用选项）‌5。
‌-q, --quiet‌：静默模式，不显示进度条等信息‌12。
‌-v, --verbose‌：冗长模式，增加输出信息‌12。
‌--limit-rate=RATE‌：限制下载速率为 RATE‌34。
‌-r, --recursive‌：递归下载，即下载指定URL中所有链接指向的文件（注意：此选项在部分搜索结果中仅提及了递归下载网站的概念，但-r是确切的选项用于递归下载）‌12。
‌-U, --user-agent=AGENT‌：User-Agent字符串，用于伪装浏览器或其他客户端身份‌24。

其他高级选项

‌-o, --output-file=FILE‌：将日志信息写入 FILE‌5。
‌-a, --append-output=FILE‌：将信息添加至 FILE‌5。
‌-nv, --no-verbose‌：关闭详细输出，但不进入安静模式‌5。
‌-i, --input-file=FILE‌：下载本地或外部 FILE 中的 URL‌5。
‌-N, --timestamping‌：只获取比本地文件新的文件‌5。
‌-S, --server-response‌：打印服务器响应头信息‌5。
‌--spider‌：不下载任何文件，仅检查URL是否有效‌5。
‌-nd, --no-directories‌：不创建目录‌5。
‌-x, --force-directories‌：强制创建目录‌5。

1. 下载单个文件

wget http://example.com/file.zip

2. 下载并保存为特定文件名

wget -O newname.zip http://example.com/file.zip

3. 下载整个网站

wget -r http://example.com/

4. 下载并以本地目录结构保存

wget -r --no-parent http://example.com/dir/

5. 限制下载速度

wget --limit-rate=200k http://example.com/file.zip

6. 设置重试次数

wget --tries=40 http://example.com/file.zip

7. 继续未完成的下载

wget -c http://example.com/file.zip

8. 下载并以时间戳命名文件

wget -N http://example.com/file.zip

9. 使用代理服务器下载

wget --proxy=on --http-user=username --http-passwd=password http://example.com/file.zip

或者使用环境变量：

export http_proxy="http://proxy.server.com:port/"wget http://example.com/file.zip

10. 下载并查看进度条（需要外部工具如 `wget2` 或使用 `--progress=bar`）

wget --progress=bar http://example.com/file.zip或者使用 wget2：wget2 http://example.com/file.zip

（注意：wget2 可能不是所有系统默认安装的，可以通过包管理器安装，例如在 Ubuntu 上使用 sudo apt-get install wget2）

11. 设置超时时间

wget --timeout=20 http://example.com/file.zip

12. 使用 HTTPS 协议下载文件（需要安装 `openssl`）

wget --no-check-certificate https://example.com/file.zip或者使用 curl（如果更喜欢使用它）：curl -O https://example.com/file.zip

13. 下载多个文件（使用循环或并行）

使用循环：
for i in {1..5}; do wget http://example.com/file$i.zip; done使用 xargs 和 parallel（如果已安装）：
seq 5 | xargs -I {} wget http://example.com/file{}.zip &> /dev/null & # 使用后台运行多个下载任务，抑制输出到控制台。注意：并行下载可能会对服务器造成压力，使用时需谨慎。或者使用 parallel 直接：
parallel wget ::: http://example.com/file{1..5}.zip # 使用 GNU parallel 来

二、curl和wget区别

‌curl和wget都是命令行工具，用于从Web服务器下载文件或数据，但它们在功能、使用场景和支持的协议等方面存在显著差异。‌‌

功能差异

‌curl‌：
- ‌多功能性‌：curl支持多种网络协议，包括HTTP、FTP、SMTP、POP3等，可以用于上传、下载、发送邮件等多种操作。
- ‌输出方式‌：默认情况下，curl的输出内容会显示在终端上，但可以通过-o或-O选项保存到文件。
- ‌高级功能‌：curl支持HTTP/2、HTTP/3、双向交互、多部分/表单数据发送等功能，适合复杂的网络操作和自动化脚本。
‌wget‌：
- ‌简单性‌：wget主要用于HTTP和FTP协议的下载，不支持其他协议和操作。
- ‌递归下载‌：wget具有递归下载功能，可以下载网页中引用的所有内容，包括HTML页面链接和FTP目录列表。
- ‌默认行为‌：默认情况下，wget会将内容保存到本地文件，无需其他选项即可简单地将远程URL下载到本地文件。

使用场景

‌curl‌：由于其多功能性和高级功能，curl更适合需要进行复杂网络操作和自动化脚本的场景，例如测试API接口、发送各种HTTP请求等。
‌wget‌：由于其简单性和递归下载功能，wget更适合简单的自动化下载任务和需要递归下载整个网站的情况。

协议支持

‌curl‌：支持FTP(S), Gopher, HTTP(S), SCP, SFTP, TFTP, TELNET, DICT, LDAP(S), MQTT, FILE, POP3(S), IMAP(S), SMB/CIFS, SMTP(S), RTMP, RTSP等多种协议。
‌wget‌：主要支持HTTP(S)和FTP协议。

curl 和 wget 都是用于从命令行下载文件的工具，它们在很多方面有相似性，但也有一些关键的区别。以下是两者的详细比较：

1. 基本功能

curl（Client URL）：一个强大的命令行工具，支持多种协议（如 HTTP、HTTPS、FTP、SFTP、SMTP 等）。它不仅能下载文件，还能上传文件、发送数据、执行 API 请求等，功能非常强大。
wget：一个专门用于下载文件的命令行工具，主要支持 HTTP、HTTPS 和 FTP 协议。它的特点是简单易用，通常用于下载文件或递归地下载整个网站。

2. 支持的协议

curl 支持更多的协议：除了 HTTP/HTTPS 和 FTP 外，curl 还支持 SFTP、FTPS、SMTP、IMAP、POP3 等。
wget 主要支持 HTTP、HTTPS 和 FTP。

3. 下载方式

curl：
- 默认不会保存文件到本地磁盘，下载的数据会输出到标准输出（屏幕）。
- 通过 -o 或 -O 选项来指定保存的文件名。
- 适用于发送 HTTP 请求（GET、POST、PUT 等）并获取响应内容。
- 支持对 API 请求进行更细致的控制（如设置 HTTP 头、POST 请求、文件上传等）。
示例：
```
curl -O https://example.com/file.txt  # 下载并保存为 file.txt
curl -o custom_name.txt https://example.com/file.txt  # 下载并保存为 custom_name.txt
```
wget：
- 默认会将下载的文件保存到当前目录。
- 对于递归下载网站（例如下载整个网站或目录）非常方便。
- 对 HTTP 请求的控制较少，但可以通过命令行选项进行简单的定制。
示例：
```
wget https://example.com/file.txt  # 下载并保存为 file.txt
wget -O rename.txt https://example.com/file.txt  # 下载并保存为 rename.txt
```

4. 限速下载

curl

curl --limit-rate 50k -O https://example.com/file.txt

wget

wget --limit-rate=50k https://example.com/file.txt

5. 递归下载

curl 本身不支持递归下载。尽管可以通过编写脚本实现递归下载，但它并没有原生的支持。
wget 支持递归下载，这是它的一大优势。例如，你可以下载整个网站或目录：
```
wget -r https://example.com/directory/  # 递归下载目录中的所有文件
```

6. 断点续传

curl 支持断点续传（-C 选项）。如果下载过程中中断，重新执行 curl 时可以从中断处继续下载。

wget 也支持断点续传（-c 选项），在下载中断时，可以继续从上次下载的地方恢复。

示例：

curl -C - -O https://example.com/largefile.zip  # 断点续传
wget -c https://example.com/largefile.zip  # 断点续传

7. 多线程下载

curl 没有内建的多线程下载功能，虽然可以使用 aria2 等工具结合使用来实现。
wget 也不支持多线程下载，但可以结合其他工具实现多线程。

8. 上传文件

curl 支持通过 -F 选项上传文件，适用于与 API 交互时上传文件。
示例：
```
curl -F "file=@localfile.txt" https://example.com/upload
```
wget 不支持直接上传文件，它专注于下载。

9. 配置和灵活性

curl 提供了更多的灵活性和可配置性，适用于复杂的 HTTP 请求（如自定义 HTTP 头、Cookie 支持、认证等）。
- 示例：发送 POST 请求并附带数据：
```
curl -X POST -d "name=John&age=30" https://example.com/submit
```
wget 相对简单，适合直接下载文件，不需要进行复杂的配置。

10. 错误处理

curl：默认会返回错误信息，但它不会退出程序，除非显式使用 -f 选项（表示只在请求失败时返回错误）。
wget：会在遇到错误时返回退出码，并根据错误类型打印不同的信息。

11. 安装和可用性

curl：在大多数现代 Linux 发行版中默认安装，且支持多种操作系统（Linux、macOS、Windows）。
wget：通常也会默认安装在 Linux 系统中，但在某些轻量级系统中可能需要手动安装。

总结：

curl：功能更强大，支持更多协议，适合做更复杂的 HTTP 请求和文件上传等任务。
wget：更简单，专注于文件下载，特别是在需要递归下载或者从 FTP 下载时非常方便。

如果你只是需要简单的文件下载，可以使用 wget；如果你需要更多的控制，或者想要与 API 交互，建议使用 curl。

厦门seo网站优化_抖音代运营方案模板_chatgpt 网站_网络营销专业毕业论文

一、wget

1、在 Ubuntu/Debian 系统上安装 wget

2、在 CentOS/RHEL 系统上安装 wget

3、在 macOS 上安装 wget（使用 Homebrew）

4、在 Windows 上安装 wget（使用 Chocolatey）

验证安装

wget常用命令

其他高级选项

1. 下载单个文件

2. 下载并保存为特定文件名

3. 下载整个网站

4. 下载并以本地目录结构保存

5. 限制下载速度

6. 设置重试次数

7. 继续未完成的下载

8. 下载并以时间戳命名文件

9. 使用代理服务器下载

10. 下载并查看进度条（需要外部工具如 `wget2` 或使用 `--progress=bar`）

11. 设置超时时间

12. 使用 HTTPS 协议下载文件（需要安装 `openssl`）

13. 下载多个文件（使用循环或并行）

二、curl和wget区别

功能差异

使用场景

协议支持

1. 基本功能

2. 支持的协议

3. 下载方式

4. 限速下载

5. 递归下载

6. 断点续传

7. 多线程下载

8. 上传文件

9. 配置和灵活性

10. 错误处理

11. 安装和可用性

总结：

最新新闻

热搜词

厦门seo网站优化_抖音代运营方案模板_chatgpt 网站_网络营销专业毕业论文

一、wget

1、在 Ubuntu/Debian 系统上安装 wget

2、在 CentOS/RHEL 系统上安装 wget

3、在 macOS 上安装 wget（使用 Homebrew）

4、在 Windows 上安装 wget（使用 Chocolatey）

验证安装

wget常用命令

其他高级选项

1. 下载单个文件

2. 下载并保存为特定文件名

3. 下载整个网站

4. 下载并以本地目录结构保存

5. 限制下载速度

6. 设置重试次数

7. 继续未完成的下载

8. 下载并以时间戳命名文件

9. 使用代理服务器下载

10. 下载并查看进度条（需要外部工具如 wget2 或使用 --progress=bar）

11. 设置超时时间

12. 使用 HTTPS 协议下载文件（需要安装 openssl）

13. 下载多个文件（使用循环或并行）

二、curl和wget区别

功能差异

使用场景

协议支持

1. 基本功能

2. 支持的协议

3. 下载方式

4. 限速下载

5. 递归下载

6. 断点续传

7. 多线程下载

8. 上传文件

9. 配置和灵活性

10. 错误处理

11. 安装和可用性

总结：

最新新闻

热搜词

10. 下载并查看进度条（需要外部工具如 `wget2` 或使用 `--progress=bar`）

12. 使用 HTTPS 协议下载文件（需要安装 `openssl`）