OpenCV - Assemblage d'images à partir d'une grille d'images
J'ai trouvé quelques exemples de travail de base sur l'assemblage via OpenCV pour les images panoramiques. J'ai également trouvé de la documentation utile dans la documentation de l'API , mais je ne sais pas comment accélérer le traitement en fournissant des informations supplémentaires.
Dans mon cas, je génère un ensemble d'images dans une grille 20x20 d'images individuelles, pour un total de 400 images à assembler en une seule grande. Cela prend énormément de temps sur un PC moderne, donc cela prendrait probablement des heures sur une carte de développeur.
Existe-t-il un moyen de dire à l'instance OpenCV des informations sur les images, comme si je connaissais à l'avance le positionnement relatif de toutes les images telles qu'elles apparaîtraient sur une grille? Le seul appel d'API que je vois jusqu'à présent consiste à simplement ajouter toutes les images sans discernement à une file d'attente via vImg.Push_back().
Références
- Couture. Image Stitching - OpenCV API Documentation, consulté le 2014-02-26,
<http://docs.opencv.org/modules/stitching/doc/stitching.html> - Exemple de couture OpenCV (classe Stitcher, Panorama), consulté le 26/02/2014,
<http://feelmare.blogspot.ca/2013/11/opencv-stitching-example-stitcher-class.html> - Panorama - Assemblage d'images dans OpenCV, consulté le 26/02/2014,
<http://ramsrigoutham.com/2012/11/22/panorama-image-stitching-in-opencv/>
Pour autant que je sache, il n'y a aucun moyen de fournir des données supplémentaires au moteur OpenCV au-delà de simplement lui donner une liste d'images. Il fait un très bon travail à lui tout seul. Je voudrais vérifier certains exemples de code et tester la durée de chaque opération de couture. D'après mes expériences utilisant des reconstructions panoramiques 4x6, 4x8, ..., 4x20, le temps CPU requis semble augmenter avec le nombre d'images qui se chevauchent. J'imagine que votre cas nécessiterait au moins une minute pour calculer sur une machine moderne.
Source: https://code.ros.org/trac/opencv/browser/trunk/opencv/samples/cpp/stitching.cpp?rev=6682
1 /*M///////////////////////////////////////////////////////////////////////////////////////
2 //
3 // IMPORTANT: READ BEFORE DOWNLOADING, COPYING, INSTALLING OR USING.
4 //
5 // By downloading, copying, installing or using the software you agree to this license.
6 // If you do not agree to this license, do not download, install,
7 // copy or use the software.
8 //
9 //
10 // License Agreement
11 // For Open Source Computer Vision Library
12 //
13 // Copyright (C) 2000-2008, Intel Corporation, all rights reserved.
14 // Copyright (C) 2009, Willow Garage Inc., all rights reserved.
15 // Third party copyrights are property of their respective owners.
16 //
17 // Redistribution and use in source and binary forms, with or without modification,
18 // are permitted provided that the following conditions are met:
19 //
20 // * Redistribution's of source code must retain the above copyright notice,
21 // this list of conditions and the following disclaimer.
22 //
23 // * Redistribution's in binary form must reproduce the above copyright notice,
24 // this list of conditions and the following disclaimer in the documentation
25 // and/or other materials provided with the distribution.
26 //
27 // * The name of the copyright holders may not be used to endorse or promote products
28 // derived from this software without specific prior written permission.
29 //
30 // This software is provided by the copyright holders and contributors "as is" and
31 // any express or implied warranties, including, but not limited to, the implied
32 // warranties of merchantability and fitness for a particular purpose are disclaimed.
33 // In no event shall the Intel Corporation or contributors be liable for any direct,
34 // indirect, incidental, special, exemplary, or consequential damages
35 // (including, but not limited to, procurement of substitute goods or services;
36 // loss of use, data, or profits; or business interruption) however caused
37 // and on any theory of liability, whether in contract, strict liability,
38 // or tort (including negligence or otherwise) arising in any way out of
39 // the use of this software, even if advised of the possibility of such damage.
40 //
41 //M*/
42
43 // We follow to these papers:
44 // 1) Construction of panoramic mosaics with global and local alignment.
45 // Heung-Yeung Shum and Richard Szeliski. 2000.
46 // 2) Eliminating Ghosting and Exposure Artifacts in Image Mosaics.
47 // Matthew Uyttendaele, Ashley Eden and Richard Szeliski. 2001.
48 // 3) Automatic Panoramic Image Stitching using Invariant Features.
49 // Matthew Brown and David G. Lowe. 2007.
50
51 #include <iostream>
52 #include <fstream>
53 #include "opencv2/highgui/highgui.hpp"
54 #include "opencv2/stitching/stitcher.hpp"
55
56 using namespace std;
57 using namespace cv;
58
59 void printUsage()
60 {
61 cout <<
62 "Rotation model images stitcher.\n\n"
63 "stitching img1 img2 [...imgN]\n\n"
64 "Flags:\n"
65 " --try_use_gpu (yes|no)\n"
66 " Try to use GPU. The default value is 'no'. All default values\n"
67 " are for CPU mode.\n"
68 " --output <result_img>\n"
69 " The default is 'result.jpg'.\n";
70 }
71
72 bool try_use_gpu = false;
73 vector<Mat> imgs;
74 string result_name = "result.jpg";
75
76 int parseCmdArgs(int argc, char** argv)
77 {
78 if (argc == 1)
79 {
80 printUsage();
81 return -1;
82 }
83 for (int i = 1; i < argc; ++i)
84 {
85 if (string(argv[i]) == "--help" || string(argv[i]) == "/?")
86 {
87 printUsage();
88 return -1;
89 }
90 else if (string(argv[i]) == "--try_gpu")
91 {
92 if (string(argv[i + 1]) == "no")
93 try_use_gpu = false;
94 else if (string(argv[i + 1]) == "yes")
95 try_use_gpu = true;
96 else
97 {
98 cout << "Bad --try_use_gpu flag value\n";
99 return -1;
100 }
101 i++;
102 }
103 else if (string(argv[i]) == "--output")
104 {
105 result_name = argv[i + 1];
106 i++;
107 }
108 else
109 {
110 Mat img = imread(argv[i]);
111 if (img.empty())
112 {
113 cout << "Can't read image '" << argv[i] << "'\n";
114 return -1;
115 }
116 imgs.Push_back(img);
117 }
118 }
119 return 0;
120 }
121
122
123 int main(int argc, char* argv[])
124 {
125 int retval = parseCmdArgs(argc, argv);
126 if (retval) return -1;
127
128 Mat pano;
129 Stitcher stitcher = Stitcher::createDefault(try_use_gpu);
130 Stitcher::Status status = stitcher.stitch(imgs, pano);
131
132 if (status != Stitcher::OK)
133 {
134 cout << "Can't stitch images, error code = " << status << endl;
135 return -1;
136 }
137
138 imwrite(result_name, pano);
139 return 0;
140 }
141
142
J'ai travaillé avec le pipeline de couture et bien que je ne me considère pas comme un expert dans le domaine, j'ai obtenu de meilleures performances (et de meilleurs résultats également) en ajustant chaque étape du pipeline séparément. Comme vous pouvez le voir sur l'image, la classe Stitching n'est rien d'autre qu'un wrapper de ce pipeline: 
Certaines parties intéressantes que vous pouvez ajuster sont les étapes de redimensionnement (il y a un point où plus de résolution signifie simplement plus de temps de calcul et des fonctionnalités plus inexactes), le processus de correspondance et (bien que ce ne soit qu'une supposition) donnant de bons paramètres de la caméra au lieu d'effectuer un estimation. Cela implique d'obtenir les paramètres de la caméra avant de faire la couture, mais ce n'est pas vraiment difficile. Ici, vous avez une référence: Étalonnage de caméra OpenCV et reconstruction 3D .
Encore une fois: je ne suis pas un expert, c'est juste basé sur mon expérience en tant que stagiaire faisant des expériences avec la bibliothèque!
Peut-être que cela pourrait aider? https://software.intel.com/en-us/articles/fast-panorama-stitching
Plus précisément la partie sur l'appariement par paire
Ronen
Pensez à activer l'utilisation du GPU dans le Stitcher Opencv:
bool try_use_gpu = true;
Stitcher myStitcher = Stitcher::createDefault(try_use_gpu);
Stitcher::Status status = myStitcher.stitch(Imgs, pano);
Si vous connaissez les positions relatives des images, il semble que vous puissiez décomposer le problème en sous-problèmes et éventuellement réduire la charge de calcul en l'abordant en connaissant la sous-structure du problème. Fondamentalement, divisez l'ensemble d'images en groupes de 4 images adjacentes, traitez les images, puis procédez au traitement des images résultantes en utilisant la même idée jusqu'à ce que vous soyez arrivé à votre panorama. Cela étant dit, je n'ai que récemment commencé à jouer avec cet ensemble d'outils d'opencv. Je sais que c'est une idée assez simple, mais elle pourrait être utile à quelqu'un.