Création d'un nouveau corpus avec NLTK
J'ai estimé que souvent la réponse à mon titre est d'aller lire les documentations, mais j'ai parcouru le livre NLTK mais il ne donne pas la réponse. Je suis un peu nouveau pour Python.
J'ai un tas de .txt fichiers et je souhaite pouvoir utiliser les fonctions de corpus fournies par NLTK pour le corpus nltk_data.
J'ai essayé PlaintextCorpusReader mais je n'ai pas pu aller plus loin que:
>>>import nltk
>>>from nltk.corpus import PlaintextCorpusReader
>>>corpus_root = './'
>>>newcorpus = PlaintextCorpusReader(corpus_root, '.*')
>>>newcorpus.words()
Comment segmenter les phrases newcorpus en utilisant punkt? J'ai essayé d'utiliser les fonctions punkt mais les fonctions punkt ne pouvaient pas lire la classe PlaintextCorpusReader?
Pouvez-vous également m'indiquer comment écrire les données segmentées dans des fichiers texte?
Je pense que le PlaintextCorpusReader segmente déjà l'entrée avec un tokenizer punkt, au moins si votre langue d'entrée est l'anglais.
constructeur de PlainTextCorpusReader
def __init__(self, root, fileids,
Word_tokenizer=WordPunctTokenizer(),
sent_tokenizer=nltk.data.LazyLoader(
'tokenizers/punkt/english.pickle'),
para_block_reader=read_blankline_block,
encoding='utf8'):
Vous pouvez passer au lecteur un tokenizer Word et phrase, mais pour ce dernier, la valeur par défaut est déjà nltk.data.LazyLoader('tokenizers/punkt/english.pickle').
Pour une chaîne unique, un tokenizer serait utilisé comme suit (expliqué ici , voir la section 5 pour le tokenizer punkt).
>>> import nltk.data
>>> text = """
... Punkt knows that the periods in Mr. Smith and Johann S. Bach
... do not mark sentence boundaries. And sometimes sentences
... can start with non-capitalized words. i is a good variable
... name.
... """
>>> tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
>>> tokenizer.tokenize(text.strip())
Après quelques années à comprendre comment cela fonctionne, voici le tutoriel mis à jour de
Comment créer un corpus NLTK avec un répertoire de fichiers texte?
L'idée principale est d'utiliser le paquet nltk.corpus.reader . Dans le cas où vous avez un répertoire de fichiers texte en anglais , il est préférable d'utiliser le PlaintextCorpusReader .
Si vous avez un répertoire qui ressemble à ceci:
newcorpus/
file1.txt
file2.txt
...
Utilisez simplement ces lignes de code et vous pouvez obtenir un corpus:
import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader
corpusdir = 'newcorpus/' # Directory of corpus.
newcorpus = PlaintextCorpusReader(corpusdir, '.*')
REMARQUE: que PlaintextCorpusReader utilisera la fonction par défaut nltk.tokenize.sent_tokenize() et nltk.tokenize.Word_tokenize() pour diviser votre textes en phrases et mots et ces fonctions sont conçues pour l'anglais, il peut [~ # ~] pas [~ # ~] fonctionner pour toutes les langues.
Voici le code complet avec la création de fichiers texte de test et comment créer un corpus avec NLTK et comment accéder au corpus à différents niveaux:
import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader
# Let's create a corpus with 2 texts in different textfile.
txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
txt2 = """Are you a foo bar? Yes I am. Possibly, everyone is.\n"""
corpus = [txt1,txt2]
# Make new dir for the corpus.
corpusdir = 'newcorpus/'
if not os.path.isdir(corpusdir):
os.mkdir(corpusdir)
# Output the files into the directory.
filename = 0
for text in corpus:
filename+=1
with open(corpusdir+str(filename)+'.txt','w') as fout:
print>>fout, text
# Check that our corpus do exist and the files are correct.
assert os.path.isdir(corpusdir)
for infile, text in Zip(sorted(os.listdir(corpusdir)),corpus):
assert open(corpusdir+infile,'r').read().strip() == text.strip()
# Create a new corpus by specifying the parameters
# (1) directory of the new corpus
# (2) the fileids of the corpus
# NOTE: in this case the fileids are simply the filenames.
newcorpus = PlaintextCorpusReader('newcorpus/', '.*')
# Access each file in the corpus.
for infile in sorted(newcorpus.fileids()):
print infile # The fileids of each file.
with newcorpus.open(infile) as fin: # Opens the file.
print fin.read().strip() # Prints the content of the file
print
# Access the plaintext; outputs pure string/basestring.
print newcorpus.raw().strip()
print
# Access paragraphs in the corpus. (list of list of list of strings)
# NOTE: NLTK automatically calls nltk.tokenize.sent_tokenize and
# nltk.tokenize.Word_tokenize.
#
# Each element in the outermost list is a paragraph, and
# Each paragraph contains sentence(s), and
# Each sentence contains token(s)
print newcorpus.paras()
print
# To access pargraphs of a specific fileid.
print newcorpus.paras(newcorpus.fileids()[0])
# Access sentences in the corpus. (list of list of strings)
# NOTE: That the texts are flattened into sentences that contains tokens.
print newcorpus.sents()
print
# To access sentences of a specific fileid.
print newcorpus.sents(newcorpus.fileids()[0])
# Access just tokens/words in the corpus. (list of strings)
print newcorpus.words()
# To access tokens of a specific fileid.
print newcorpus.words(newcorpus.fileids()[0])
Enfin, pour lire un répertoire de textes et créer un corpus NLTK dans une autre langue, vous devez d'abord vous assurer que vous disposez d'une tokenisation Word python Word et modules de tokenisation de phrases qui acceptent l'entrée chaîne/chaîne de base et produisent une telle sortie:
>>> from nltk.tokenize import sent_tokenize, Word_tokenize
>>> txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
>>> sent_tokenize(txt1)
['This is a foo bar sentence.', 'And this is the first txtfile in the corpus.']
>>> Word_tokenize(sent_tokenize(txt1)[0])
['This', 'is', 'a', 'foo', 'bar', 'sentence', '.']
>>> import nltk
>>> from nltk.corpus import PlaintextCorpusReader
>>> corpus_root = './'
>>> newcorpus = PlaintextCorpusReader(corpus_root, '.*')
"""
if the ./ dir contains the file my_corpus.txt, then you
can view say all the words it by doing this
"""
>>> newcorpus.words('my_corpus.txt')