web-dev-qa-db-fra.com

Caffe: Lecture LMDB de Python

J'ai extrait des fonctionnalités à l'aide de caffe, qui génère un fichier .mdb. Ensuite, j'essaie de le lire en utilisant Python et de l'afficher comme un nombre lisible.

import lmdb

lmdb_env = lmdb.open('caffefeat')
lmdb_txn = lmdb_env.begin()
lmdb_cursor = lmdb_txn.cursor()

for key, value in lmdb_cursor:
    print str(value)

Cela imprime une très longue ligne de caractères illisibles et brisés.

Ensuite, j'ai essayé d'imprimer int (valeur), qui renvoie ce qui suit:

ValueError: invalid literal for int() with base 10: '\x08\x80 \x10\x01\x18\x015\x8d\x80\xad?5'

float (valeur) donne ce qui suit:

ValueError: could not convert string to float:? 5????5

Est-ce un problème avec le fichier lmdb lui-même, ou est-ce lié à la conversion du type de données?

pythoncaffelmdb
17
ytrewq

Voici le code de travail que j'ai compris

import caffe
import lmdb

lmdb_env = lmdb.open('directory_containing_mdb')
lmdb_txn = lmdb_env.begin()
lmdb_cursor = lmdb_txn.cursor()
datum = caffe.proto.caffe_pb2.Datum()

for key, value in lmdb_cursor:
    datum.ParseFromString(value)
    label = datum.label
    data = caffe.io.datum_to_array(datum)
    for l, d in Zip(label, data):
            print l, d
32
ytrewq

Si vous avez encodé des images dans lmdb, vous verrez probablement cette erreur lors de l'utilisation du code de @ ytrewq

ValueError: total size of new array must be unchanged

Utilisez plutôt cette fonction:

import caffe
import lmdb
import PIL.Image
from StringIO import StringIO
import numpy as np

def read_lmdb(lmdb_file):
    cursor = lmdb.open(lmdb_file, readonly=True).begin().cursor()
    datum = caffe.proto.caffe_pb2.Datum()
    for _, value in cursor:
        datum.ParseFromString(value)
        s = StringIO()
        s.write(datum.data)
        s.seek(0)

        yield np.array(PIL.Image.open(s)), datum.label

Exemple:

lmdb_dir = '/save/jobs/20160613-125532-958f/train_db/'
for im, label in read_lmdb(lmdb_dir):
    print label, im
16
Ghilas BELHADJ