Qu'est-ce qui pourrait causer cette erreur lorsque j'essaie d'insérer un caractère étranger dans la base de données?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
Et comment puis-je le résoudre?
Merci!
Le caractère U + 201C Double guillemet gauche n'est pas présent dans le codage Latin-1 (ISO-8859-1).
Il est présent dans la page de code 1252 (Europe occidentale). Il s'agit d'un codage spécifique à Windows basé sur ISO-8859-1 mais qui place des caractères supplémentaires dans la plage 0x80-0x9F. La page de code 1252 est souvent confondue avec ISO-8859-1 et il s’agit là d’un comportement gênant mais devenu standard pour les navigateurs Web: si vous présentez vos pages comme ISO-8859-1, le navigateur les traitera plutôt comme cp1252. Cependant, ce sont deux codages distincts:
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'
Si vous utilisez votre base de données uniquement comme magasin d'octets, vous pouvez utiliser cp1252 pour coder “
Et les autres caractères présents dans la page de code Windows Western. Mais d’autres caractères Unicode qui ne sont pas présents dans cp1252 provoqueront des erreurs.
Vous pouvez utiliser encode(..., 'ignore')
pour supprimer les erreurs en supprimant les caractères, mais en ce siècle, vous devriez utiliser UTF-8 à la fois dans votre base de données et dans vos pages. Cet encodage permet d'utiliser n'importe quel caractère. Dans l'idéal, vous devriez également indiquer à MySQL que vous utilisez des chaînes UTF-8 (en définissant la connexion à la base de données et le classement sur les colonnes de chaînes), afin qu'il puisse effectuer une comparaison et un tri corrects et respectant la casse.
J'ai rencontré le même problème lorsque j'utilisais le module Python MySQLdb. Puisque MySQL vous permet de stocker à peu près toutes les données binaires de votre choix dans un champ de texte, quel que soit le jeu de caractères, j'ai trouvé ma solution ici:
tilisation de UTF8 avec Python MySQLdb
Edit: citation de l'URL ci-dessus pour satisfaire la demande dans le premier commentaire ...
"UnicodeEncodeError: le codec 'latin-1' ne peut pas encoder le caractère ..."
En effet, MySQLdb essaie normalement de tout encoder en latin-1. Cela peut être corrigé en exécutant les commandes suivantes juste après avoir établi la connexion:
db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')
"db" est le résultat de
MySQLdb.connect()
, et "dbc" est le résultat dedb.cursor()
.
La meilleure solution est
fait comme ce commentaire (ajouter use_unicode=True
et charset="utf8"
)
db = MySQLdb.connect (hôte = "localhost", utilisateur = "racine", passwd = "", db = "testdb", use_unicode = vrai, charset = "utf8") - KyungHoon Kim 13 mars à 17:04
détail voir:
class Connection(_mysql.connection):
"""MySQL Database Connection Object"""
default_cursor = cursors.Cursor
def __init__(self, *args, **kwargs):
"""
Create a connection to the database. It is strongly recommended
that you only use keyword parameters. Consult the MySQL C API
documentation for more information.
Host
string, Host to connect
user
string, user to connect as
passwd
string, password to use
db
string, database to use
port
integer, TCP/IP port to connect to
unix_socket
string, location of unix_socket to use
conv
conversion dictionary, see MySQLdb.converters
connect_timeout
number of seconds to wait before the connection attempt
fails.
compress
if set, compression is enabled
named_pipe
if set, a named pipe is used to connect (Windows only)
init_command
command which is run once the connection is created
read_default_file
file from which default client values are read
read_default_group
configuration group to use from the default file
cursorclass
class object, used to create cursors (keyword only)
use_unicode
If True, text-like columns are returned as unicode objects
using the connection's character set. Otherwise, text-like
columns are returned as strings. columns are returned as
normal strings. Unicode objects will always be encoded to
the connection's character set regardless of this setting.
charset
If supplied, the connection character set will be changed
to this character set (MySQL-4.1 and newer). This implies
use_unicode=True.
sql_mode
If supplied, the session SQL mode will be changed to this
setting (MySQL-4.1 and newer). For more details and legal
values, see the MySQL documentation.
client_flag
integer, flags to use or 0
(see MySQL docs or constants/CLIENTS.py)
ssl
dictionary or mapping, contains SSL connection parameters;
see the MySQL documentation for more details
(mysql_ssl_set()). If this is set, and the client does not
support SSL, NotSupportedError will be raised.
local_infile
integer, non-zero enables LOAD LOCAL INFILE; zero disables
autocommit
If False (default), autocommit is disabled.
If True, autocommit is enabled.
If None, autocommit isn't set and server default is used.
There are a number of undocumented, non-standard methods. See the
documentation for the MySQL C API for some hints on what they do.
"""
J'espère que votre base de données est au moins UTF-8. Ensuite, vous devrez exécuter yourstring.encode('utf-8')
avant d'essayer de le placer dans la base de données.
Vous essayez de stocker un point de code Unicode \u201c
en utilisant un encodage ISO-8859-1 / Latin-1
qui ne peut pas décrire ce code. Soit vous devrez peut-être modifier la base de données pour utiliser utf-8 et stocker les données de chaîne en utilisant un codage approprié, ou vous voudrez peut-être nettoyer vos entrées avant de stocker le contenu; c'est-à-dire en utilisant quelque chose comme l'excellent guide i18n de Sam Ruby . Cela parle des problèmes que windows-1252
peut causer et suggère comment le traiter, ainsi que des liens vers des exemples de code!
Les utilisateurs de SQLAlchemy peuvent simplement spécifier leur champ comme convert_unicode=True
.
Exemple: sqlalchemy.String(1000, convert_unicode=True)
SQLAlchemy acceptera simplement les objets unicode et les retournera en gérant le codage lui-même.
Latin-1 (ou ISO 8859-1 ) est un schéma de codage à un octet, et vous ne pouvez pas vous adapter à \u201c
(“
) dans un octet.
Vouliez-vous utiliser le codage UTF-8?
Utilisez l'extrait ci-dessous pour convertir le texte du latin en anglais.
import unicodedata
def strip_accents(text):
return "".join(char for char in
unicodedata.normalize('NFKD', text)
if unicodedata.category(char) != 'Mn')
strip_accents('áéíñóúü')
sortie:
'aeinouu'