Reconstruction 3D - Comment créer un modèle 3D à partir d'une image 2D?
Si je prends une photo avec un appareil photo afin de connaître la distance entre l'appareil photo et l'objet, par exemple un modèle réduit de maison, j'aimerais en faire un modèle 3D que je puisse manœuvrer alors Je peux commenter différentes parties de la maison.
Si je m'assois et pense à prendre plus d'une photo, indiquant le sens et la distance, je devrais être capable de comprendre comment faire cela, mais j'ai pensé que je demanderais si quelqu'un a du papier qui pourrait aider à expliquer davantage.
La langue dans laquelle vous expliquez n'a pas d'importance, car je cherche la meilleure approche.
Pour l’instant, j’envisage de montrer la maison, puis l’utilisateur peut ajouter de l’aide pour la hauteur, telle que la distance entre l’appareil photo et le haut de la partie du modèle, et avec suffisamment le reste, surtout s'il y a une image de haut en bas, puis des images d'angles des quatre côtés, pour calculer les hauteurs relatives.
Ensuite, les pièces devront différer en couleurs pour séparer les différentes parties du modèle que j'attends également.
La recherche a progressé de manière significative et il est aujourd'hui possible d’obtenir des formes 3D très belles à partir d’images 2D. Par exemple, dans nos travaux de recherche récents intitulés " Synthétiser des formes 3D via la modélisation de cartes de profondeur multi-vues et de silhouettes avec des réseaux génératifs profonds }" "a franchi une étape importante dans la résolution du problème de l'obtention de formes 3D à partir d'images 2D. Dans notre travail, nous montrons que vous pouvez non seulement passer directement de la 2D à la 3D et obtenir une bonne reconstruction 3D approximative, mais également apprendre une distribution de formes 3D de manière efficace et générer/synthétiser des formes 3D. Ci-dessous, une image de notre travail montrant que nous sommes en mesure de procéder à une reconstruction 3D, même à partir d’une seule silhouette ou d’une carte de la profondeur (à gauche). Les formes 3D de terrain-vérité sont montrées à droite.
Notre approche a quelques contributions liées aux sciences cognitives ou à la façon dont le cerveau fonctionne: le modèle que nous avons construit partage les paramètres pour toutes les catégories de formes au lieu d’être spécifique à une seule catégorie. En outre, il obtient des représentations cohérentes et prend en compte l'incertitude de la vue d'entrée lors de la production d'une forme 3D en sortie. Par conséquent, il est capable de donner naturellement des résultats significatifs même pour des entrées très ambiguës. Si vous regardez la citation de notre document, vous pouvez voir encore plus de progrès simplement en termes de passage d'images 2D à des formes 3D.
Check out The Deadalus Project , Bien que le site Web ne contienne pas de galerie d’illustrations illustrant la solution, elle affiche plusieurs articles et des informations sur la méthode de travail.
J'ai regardé une conférence de l'un des principaux chercheurs du projet (Roger Hubbold) et les résultats de l'image sont assez étonnants! La pensée est un problème complexe et long. Il faut tenir compte de nombreux détails délicats pour obtenir une approximation des données 3D, par exemple les informations 3D des surfaces murales, pour lesquels l'heuristique de travail est la suivante: Prenez une photo avec un éclairage normal de la scène, puis reprenez l'image dans la même position avec le flash intégral actif, puis soustrayez les deux images et divisez le résultat par une image d'étalonnage flash pré-prise, appliquez un filtre de zone à ce nouveau résultat, puis post-traitement pour estimer les valeurs de profondeur le processus est expliqué en détail dans le présent document (qui est également affiché/référencé sur le site Web du projet)
Google Sketchup (gratuit) dispose d'un outil de rapprochement photo qui vous permet de prendre une photo et de l'adapter à sa perspective pour faciliter la modélisation.
EDIT: Il semble que vous souhaitiez développer votre propre solution. Je pensais que vous essayiez d'obtenir un modèle 3D d'une image en une seule fois. Si cette réponse n'est pas utile, je m'excuse.
J'espère que cela vous aidera si vous essayez de construire un volume 3D à partir d'une pile d'images 2D! Vous pouvez utiliser un outil open source tel que ImageJ Fiji, livré avec le plugin 3d viewer.