联系方式

咨询热线:400-998-6158

点击此处免费预约试听课程»

常见问题
学习资讯
常见问题

济南历下区Python培训怎么收费

济南历下区Python培训怎么收费


Python课程介绍
1、Python核心编程
课程内容:Python语言基础、Linux、MySQL、项目实战

2、全栈开发

课程内容:Web编程基础、Flask框架、Django框架、Tornado框架、项目实战

3、网络爬虫

课程内容:数据爬取、Scrapy框架项目、分布式爬虫框架、项目实战

4、人工智能

课程内容:数据分析、机器学习、深度学习、项目实战及考核

其他课程:web培训

通过WEB全栈工程师培训班的学习,学员能熟练完成网‌‌页界面设计、网站美工设计;能运用H5+JS进行开发前端交互设计能力,开发网页框架;能运用PHP等软件开发常见后台网站管理系统;通过实训模块,能熟练掌握成套商业网站的设计流程,设计理念,设计风格等

学前端web研发-前端开发暑期培训班让JS编程更加简洁,爽快,6的飞起,更加注重H5应用在市场营销方面的应用,增加实战项目操作,更加注重H5应用在开发方面的应用,增加AI智能算法,打造精品。 query框架内容包括:(jquery框架介绍及优势介绍,jquery核心思想,jquery常见方法,jquery动画操作,jqueryAJAX操作,jquery工具方法,利用jquery开发网页)。



Python有专门的字符集检测模块chardet,今天就带大家一起学习下它。

chardet入门

模块介绍

Chardet:通用字符编码检测器,Python版本:需要Python 2.6,2.7或3.3+。

检测字符集范围:

ASCII,UTF-8,UTF-16(2种变体),UTF-32(4种变体)

Big5,GB2312,EUC-TW,HZ-GB-2312,ISO-2022-CN(繁体中文和简体中文)

EUC-JP,SHIFT_JIS,CP932,ISO-2022-JP(日文)

EUC-KR,ISO-2022-KR(韩文)

KOI8-R,MacCyrillic,IBM855,IBM866,ISO-8859-5,windows-1251(西里尔文)

ISO-8859-5,windows-1251(保加利亚语)

ISO-8859-1,windows-1252(西欧语言)

ISO-8859-7,windows-1253(希腊语)

ISO-8859-8,windows-1255(视觉和逻辑希伯来语)

TIS-620(泰国语)

安装

chardet在使用前,我们需要安装它:pip install chardet即可。

命令行工具

安装好chardet后,模块会附带一个命令行的检测工具:

% chardetect somefile someotherfilesome

file: windows-1252 with confidence 0.5

someotherfile: ascii with confidence 1.0

文档地址

对于用户,现在可以通过https://chardet.readthedocs.io/获取文档。

入门例子

仿照官网的例子,我们针对脚本之家和百度两个网站进行内容的编码检测:


# -*- coding: utf-8 -*-

# @Author : 王翔

# @JianShu : 清风Python

# @Date : 2019/8/14 2:09

# @Software : PyCharm

# @version :Python 3.7.3

# @File : str_coding.py

import requests

import chardet

urls = ['https://www.jb51.net', 'https://www.baidu.com/']

for url in urls:

 r = requests.get(url)

 print(url, chardet.detect(r.content))

output:

https://www.jb51.net {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

https://www.baidu.com/ {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

可以看到结果脚本之家是gb2312而百度是utf-8.那么是否正确呢?我们只需要在对应的网页上右键点击查看网页源代码,通过检索html中<meta charset="xxx" />内容即可获取网站编码。

判断文本编码

刚才看到的是获取网站返回值的编码,那么文本的编码如何获取呢?


import charde
twith open('strcoding.py','rb') as f:

print(chardet.detect(f.read()))

# output:

{'encoding': 'utf-8', 'confidence': 0.9690625, 'language': ''}

这里需要注意,由于对于文本的编码的未知性,我们需要使用二进制的方式打开文本,之后再获取字符集。

逐步检测编码

对于简短的网页或者文本内容,我们可以按照上述的方式进行操作,但如果我的文本是以G为单位计算的,如何能的获取文本的字符集内容呢?我们可以使用chardet模块的逐步检测编码方式,下面我们来对比下两者的差距,我这里就不用G级的数据了,那伏天氏小说的11MB内容就已经很能说明问题了:


# 原始方法

import chardet

import time

t0 = time.process_time()

with open("伏天氏.txt",'rb') as f:

print(chardet.detect(f.read()))

t1 = time.process_time()print(t1-t0)

# output:{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

105.3786755

# 逐步检索方法:

import time

from chardet.universaldetector import UniversalDetector

detector = UniversalDetector()

t0 = time.process_time()

for line in open("伏天氏.txt", 'rb'):

 detector.feed(line)

 if detector.done:

 break

detector.close()

print(detector.result)

t1 = time.process_time()

print(t1 - t0)

# output:{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

45.1466894

学校联系方式

更多培训课程,学习资讯,课程优惠等学校信息,请进入 济南历下区Web培训济南市中区Python培训济南槐荫区Linux云计算培训 网站详细了解,免费咨询电话:400-998-6158

相关课程