在爬虫开发中，设置合适的 User-Agent 是模拟正常浏览器访问行为的关键步骤。User-Agent 是 HTTP 请求头中的一个字段，用于标识客户端（通常是浏览器）的类型、版本、操作系统等信息。通过设置 User-Agent，可以有效避免被目标网站识别为爬虫并限制访问。
以下是如何在 Python 和 Java 爬虫中设置 User-Agent 的详细方法：
一、Python 中设置 User-Agent
（一）使用 requests 库
在 Python 中，使用 requests 库发送 HTTP 请求时，可以通过 headers 参数设置 User-Agent。
Python
import requestsdef get_html(url):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"}try:response = requests.get(url, headers=headers)response.raise_for_status() # 检查请求是否成功return response.textexcept requests.RequestException as e:print(f"请求失败：{e}")return None（二）随机选择 User-Agent
为了进一步模拟真实用户行为，可以随机选择不同的 User-Agent。
Python
import randomuser_agents = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.0 Safari/605.1.15"
]def get_html(url):headers = {"User-Agent": random.choice(user_agents)}try:response = requests.get(url, headers=headers)response.raise_for_status()return response.textexcept requests.RequestException as e:print(f"请求失败：{e}")return None二、Java 中设置 User-Agent
（一）使用 HttpClient 库
在 Java 中，使用 HttpClient 库发送 HTTP 请求时，可以通过设置请求头来指定 User-Agent。
java
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;import java.io.IOException;public class ProductDetailCrawler {public static String getHtml(String url) {try (CloseableHttpClient client = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36");return EntityUtils.toString(client.execute(request).getEntity());} catch (IOException e) {e.printStackTrace();return null;}}
}（二）随机选择 User-Agent
为了进一步模拟真实用户行为，可以随机选择不同的 User-Agent。
java
import java.util.Arrays;
import java.util.List;
import java.util.Random;public class ProductDetailCrawler {private static final List<String> USER_AGENTS = Arrays.asList("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.0 Safari/605.1.15");public static String getRandomUserAgent() {Random random = new Random();return USER_AGENTS.get(random.nextInt(USER_AGENTS.size()));}public static String getHtml(String url) {try (CloseableHttpClient client = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);request.setHeader("User-Agent", getRandomUserAgent());return EntityUtils.toString(client.execute(request).getEntity());} catch (IOException e) {e.printStackTrace();return null;}}
}三、注意事项
（一）遵守平台规则
在编写爬虫时，必须严格遵守目标网站的使用协议，避免触发反爬机制。
（二）合理设置请求频率
避免过高的请求频率，以免对平台服务器造成压力。建议在请求之间添加适当的延时：
java
Thread.sleep(1000); // 每次请求间隔1秒（三）数据安全
妥善保管爬取的数据，避免泄露用户隐私和商业机密。
（四）处理异常情况
在爬虫代码中添加异常处理机制，确保在遇到错误时能够及时记录并处理。
通过上述方法，可以有效地设置爬虫的 User-Agent，模拟正常浏览器行为，从而提高爬虫的稳定性和成功率。希望这些内容能帮助你更好地进行爬虫开发。