【原】编码与乱码

有时候文档大部分都是用UTF-8，但同时还包含了Windows-1252编码的字符。

用UnicodeDammit.detwingle()方法可以把这类文档转换成纯UTF-8编码格式。

newDoc = UnicodeDammit.detwingle(doc)

print(newDoc.decode("utf8"))

这个方法只能解决由Windows-1252引起的乱码问题，切在BS4中新增