解决爬虫中文数据乱码问题_爬取出来的数据是乱码-程序员宅基地

常见的问题

在爬虫爬取数据过程中直接爬取数据中文字符出现乱码现象
在这里插入图片描述
经过查找资料发现，网页返回的字符集和爬取下来后转换编码不一致，这必然会引起来乱码，当源网页编码和抓取下来后程序直接使用处理编码一致时，则不会出现乱码，此时在进行统一的编码则可以完美的显示。

print(response.encoding)  #查看网页返回的字符集类型
print(response.apparent_encoding) #自动判断字符集类型

在这里插入图片描述

常见的编码

最早的编码是iso8859-1和ascii编码类似，iso8859-1属于单字节编码，最多能表示的字符范围是0-255，仅能应用于英文，无法表示中文。

1981年中国对ascii编码进行了扩充改造，产生了GB2312编码，它可以表示6000多个常用汉字，但是由于汉字的繁多经过演进改造产生了GBK编码，它包括GB2312中的很多编码，同时也进行了扩充。由于中国语言汉字的样式多，很多民族都有自己的语言，为了表示那些汉字继续把GBK编码扩充为GB18030编码。

但是这样出现了问题，每个国家都有了自己的编码，编码形式繁多如果要使用相应的语言必须安装相应的编码，否则就无法进行正常显示。与之ISO创造了一种UNICODE编码，这种编码非常大，可以保存世界上的任何文字和符号。

UNICODE在传输中出现了两个标准UTF-8和UTF-16，分别是每次传输8位和16位，但是UTF-8等编码体积比较大，占用电脑空间内存，如果面向的使用人群大多是是中国人那么GBK编码是可以用的。

字符串是由字符构成的，字符在计算机硬件中通过二进制存储，这种二进制就是编码，如果直接使用“字符串->字符->二进制”进行表示，会增加不同类型编码之间转换的复杂性，所以引入了一个抽象层"字符串->字符->与存储无关的表示->二进制表示"，这样可以用一种与存储无关的形式表示字符，不同的编码之间转换时先转到这个抽象层，然后再转为其他的形式，unicode就是与存储无关的形式，utf-8就是二进制表示。

解决方法

方法一：直接指定res.encoding

import requests

url = "http://search.51job.com"
res = requests.get(url)
res.encoding = "gbk"
html = res.text
print(html)

方法二：通过res.apparent_encoding指定

import requests

url = "http://search.51job.com"
res = requests.get(url)
res.encoding = res.apparent_encoding
html = res.text
print(html)

方法三：通过编码、解码的方式

import requests

url = "http://search.51job.com"
res = requests.get(url)
html = res.text.encode('iso-8859-1').decode('gbk')
print(html)

总结

基本思路：确定源网页的编码A和程序通过编码B，对源网页数据进行还原，统一转换字符编码C，一般爬取数据时都需要进行统一编码，方便使用。

with open("a.txt",'w',encoding='utf-8') as f:
    f.write(html)

参考资料
python爬虫的中文乱码问题：https://www.zhihu.com/question/27062410

本文链接：https://blog.csdn.net/threestooegs/article/details/122881562

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

info级别日志与debug_debug中的计算是否在info级别也会跑-程序员宅基地

文章浏览阅读6.3k次。日志默认info级别debug日志不会打印，但是会执行日志填充的数据例如：logger.debug("日志输出",2*10); 1. 2*10会先执行出结果，然后继续往下走2. 在ch.qos.logback.classic.Logger#filterAndLog_1方法中判断是否符合级别要求是否需要输出3.如图：..._debug中的计算是否在info级别也会跑

Third calibration example - Calibration using Heikkil�'s data (planar and non-planar calibration rig-程序员宅基地

文章浏览阅读1.4k次。Similarly to the previous example, let us apply our calibration engine onto the data that comes with the originalcalibration toolbox of Heikkil� from the University of Oulu. Once again. do not bothe_non-planar calibration

物联网常用的网络协议：MQTT、AMQP、HTTP、CoAP、LwM2M_lmm2m和mqtt-程序员宅基地

文章浏览阅读1w次，点赞10次，收藏63次。物联网常用的网络协议：MQTT、AMQP、HTTP、CoAP、LwM2M物联网设备间沟通的语言，就是网络协议。设备间想相互交流，通信双方必须使用同一种“语言”。比如说你和中国人问好说’你好‘、日本人问好要说‘こんにちは’、和英国人问好要说‘hello’.说起网络协议，你可能马上就想到了 HTTP 协议。是的，在日常的 Web 开发中，我们总是需要跟它打交道，因为 HTTP 协议是互联网的主流网络协议。类似地，应用在互联网中的网络协议，还有收发电子邮件的 POP3 、SMTP 和 IMAP 协议，以及_lmm2m和mqtt

fortran使用MKL函数库中的geev计算一般矩阵的特征值与特征向量_fortran求矩阵特征值-程序员宅基地

文章浏览阅读7.4k次，点赞4次，收藏20次。这篇博文简要记录一下使用MKL函数库计算一般矩阵的特征值与特征向量对形如对称矩阵或是埃尔米特等特殊矩阵有其对应的子程序，在这里先不涉及。有需求的可以自行查阅MKL官方文档下面给出本次示例代码：代码使用f95接口。f77借口参数太多，笔者太懒<不过懒惰是创新的原动力^_^>program testGeev use lapack95 implicit..._fortran求矩阵特征值

Numpy, Scipy, Matplotlib基本用法_np.imresize-程序员宅基地

文章浏览阅读147次。学习内容来自:Numpy Tutorial文章目录Array SlicingArray IndexingMathematical ManipulationBroadcastingImage Processing基本的用法课程里面说的挺详细了。特别记录一些需要关注的点。Array Slicing使用固定数字进行array寻址会导致数组降维。y = np.random.random((3,..._np.imresize

蓝桥杯历届试题回文数字 C++_c++蓝桥杯回文数-程序员宅基地

文章浏览阅读355次。题目阅览　观察数字：12321，123321 都有一个共同的特征，无论从左到右读还是从右向左读，都是相同的。这样的数字叫做：回文数字。　　本题要求你找到一些5位或6位的十进制数字。满足如下要求：　　该数字的各个数位之和等于输入的整数。　　输入格式　　一个正整数 n (10<n<100), 表示要求满足的数位和。　　输出格式若干行，每行包含一个满足要求的5位或6位整数。　　数字按从小到大的顺序排列。　　如果没有满足条件的，输出：-1样例输入144样例输出199899_c++蓝桥杯回文数

随便推点

Java生成二维码，扫描并跳转到指定的网站_java扫二维码进入自己制作的网页-程序员宅基地

文章浏览阅读6.2k次，点赞3次，收藏13次。需要的pom文件 <dependency> <groupId>com.google.zxing</groupId> <artifactId>core</artifactId> <version>3.1.0</version>_java扫二维码进入自己制作的网页

python：多波段遥感影像分离成单波段影像_一个多波段影像分解成多个单波段影像-程序员宅基地

文章浏览阅读650次。在遥感图像处理中，我们经常需要将多波段遥感影像拆分成多个单波段图像，以便进行各种分析和后续处理。本篇博客将介绍一个用Python编写的程序，该程序可以读取多波段遥感影像，将其拆分为单波段图像，并保存为单独的文件。本程序使用GDAL库来处理遥感影像数据，以及NumPy库来进行数组操作。结果如下图所示，选中的影像为输入的多波段影像，其他影像分别为拆分后的多波段影像。_一个多波段影像分解成多个单波段影像

移动硬盘突然在电脑上无法显示_电脑无法显示移动硬盘-程序员宅基地

文章浏览阅读5.1k次，点赞2次，收藏4次。0前言一直用的好好的移动硬盘突然不显示了，前段时间因为比较忙，一直没顾得上管它，趁这个假期，好好捅咕了一番，总算是弄好了，特此将解决的过程记录如下：1.问题描述 1.我的移动硬盘在其他人的电脑上能够正常显示和使用 2.其他移动硬盘在我电脑上能够正常的显示和使用 3.在我的电脑上，该移动硬盘，既不显示盘符，磁盘管理又不显示该磁盘2.问题分析1.我的移动硬盘能够在其他人电脑上_电脑无法显示移动硬盘

Linux开机启动过程（16）：start_kernel()-＞rest_init()启动成功_linux 标志着kernel启动完成-程序员宅基地

文章浏览阅读1k次。Kernel initialization. Part 10.在原文的基础上添加了5.10.13部分的源码解读。End of the linux kernel initialization processThis is tenth part of the chapter about linux kernel initialization process and in the previous part we saw the initialization of the RCU and stopped o_linux 标志着kernel启动完成

Scala安装和开发环境配置教程_scala安装及环境配置-程序员宅基地

文章浏览阅读5.3k次，点赞5次，收藏23次。Scala语言概述：Scala语言是一门以Java虚拟机为运行环境，支持面向对象和函数式编程的静态语言，java语言是面向对象的，所以代码写起来就会相对比较模块儿，而函数式编程语言相对比较简洁_scala安装及环境配置

深扒人脸识别60年技术发展史_人脸识别发展历史-程序员宅基地

文章浏览阅读2.4k次。“他来听我的演唱会，门票换了手铐一对”。最近歌神张学友变阿SIR，演唱会上频频抓到罪犯，将人脸识别技术又一次推到了大众的视线中。要说人脸识别技术的爆发，当属去年9月份苹果iPhone x的发布，不再需要指纹，只需要扫描面部就可以轻松解锁手机。任何技术一旦进入智能手机这个消费市场，尤其是被苹果这个标志性的品牌采用，就意味着它将成为一种趋势，一个智能设备的标配。在智能手机快速崛起的这几年，其密码锁..._人脸识别发展历史