Python: Supprimer \ xa0 de la chaîne?

J'utilise actuellement Beautiful Soup pour analyser un fichier HTML et appeler get_text(), mais il me semble qu'il me reste beaucoup de \ xa0 Unicode représentant des espaces. Existe-t-il un moyen efficace de les supprimer tous en Python 2.7 et de les transformer en espaces? Je suppose que la question la plus générale serait: existe-t-il un moyen de supprimer le formatage Unicode?

J'ai essayé d'utiliser line = line.replace(u'\xa0',' '):, comme suggéré par un autre thread, mais cela a changé les \ xa0 en u, donc maintenant j'ai des "u" partout à la place. ):

EDIT: Le problème semble être résolu par str.replace(u'\xa0', ' ').encode('utf-8'), mais le simple fait de s'en .encode('utf-8')passer replace()semble le faire cracher des caractères encore plus étranges, \ xc2 par exemple. Quelqu'un peut-il expliquer cela?

\ xa0 est en fait un espace insécable en Latin1 (ISO 8859-1), également chr (160). Vous devez le remplacer par un espace.

string = string.replace(u'\xa0', u' ')

Lorsque .encode ('utf-8'), il encodera l'unicode en utf-8, cela signifie que chaque unicode pourrait être représenté par 1 à 4 octets. Dans ce cas, \ xa0 est représenté par 2 octets \ xc2 \ xa0.

Lisez sur http://docs.python.org/howto/unicode.html .

Remarque: cette réponse datant de 2012, Python a évolué, vous devriez pouvoir l'utiliser unicodedata.normalizemaintenant

Il y a beaucoup de choses utiles dans la unicodedatabibliothèque de Python . L'un d'eux est la .normalize()fonction.

Essayer:

new_str = unicodedata.normalize("NFKD", unicode_str)

Remplacer NFKD par l'une des autres méthodes répertoriées dans le lien ci-dessus si vous n'obtenez pas les résultats que vous recherchez.

Essayez d'utiliser .strip () à la fin de votre ligne line.strip()a bien fonctionné pour moi

Après avoir essayé plusieurs méthodes, pour le résumer, voici comment je l'ai fait. Voici deux façons d'éviter / supprimer les caractères \ xa0 de la chaîne HTML analysée.

Supposons que nous ayons notre html brut comme suit:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Essayons donc de nettoyer cette chaîne HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Le code ci-dessus produit ces caractères \ xa0 dans la chaîne. Pour les supprimer correctement, nous pouvons utiliser deux méthodes.

Méthode n ° 1 (recommandée): la première est la méthode get_text de BeautifulSoup avec l' argument strip comme True. Notre code devient donc:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Méthode n ° 2: L'autre option consiste à utiliser la bibliothèque unicodedata de python

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

J'ai également détaillé ces méthodes sur ce blog que vous voudrez peut-être consulter.

essaye ça:

string.replace('\\xa0', ' ')

J'ai rencontré ce même problème lors de l'extraction de certaines données d'une base de données sqlite3 avec python. Les réponses ci-dessus n'ont pas fonctionné pour moi (je ne sais pas pourquoi), mais cela a fonctionné:line = line.decode('ascii', 'ignore') Cependant, mon objectif était de supprimer les \ xa0s, plutôt que de les remplacer par des espaces.

Je l'ai obtenu grâce à ce tutoriel Unicode super utile de Ned Batchelder.

Je me retrouve ici en recherchant le problème avec le caractère non imprimable. J'utilise MySQL UTF-8 general_ciet m'occupe du langage polonais. Pour les chaînes problématiques, je dois procéder comme suit:

text=text.replace('\xc2\xa0', ' ')

C'est juste une solution de contournement rapide et vous devriez probablement essayer quelque chose avec la bonne configuration d'encodage.

Essayez ce code

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) est 0xC2A0 en UTF-8. .encode('utf8')prendra simplement votre Unicode 0xA0 et le remplacera par 0xC2A0 de l'UTF-8. D'où l'apparition de 0xC2s ... L'encodage ne remplace pas, comme vous l'avez probablement réalisé maintenant.

C'est l'équivalent d'un caractère d'espace, alors dépouillez-le

print(string.strip()) # no more xa0

Dans Beautiful Soup, vous pouvez passer get_text()le paramètre strip, qui supprime les espaces blancs du début et de la fin du texte. Cela supprimera \xa0ou tout autre espace blanc s'il se produit au début ou à la fin de la chaîne. Beautiful Soup a remplacé une chaîne vide par \xa0et cela a résolu le problème pour moi.

mytext = soup.get_text(strip=True)

Version générique avec l'expression régulière (elle supprimera tous les caractères de contrôle):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python le reconnaît comme un caractère d'espace, vous pouvez splitdonc le faire sans arguments et le joindre par un espace blanc normal:

line = ' '.join(line.split())