Quelle est la différence entre Data Warehouse et Big Data?
Je sais ce qui est Data Warehouse et Big Data . Mais je suis confus avec Data Warehouse vs Big Data . Les deux sont identiques avec des noms différents ou les deux sont différents (conceptuel et physique).
Je sais qu'il s'agit d'un fil plus ancien, mais certains développements ont eu lieu au cours de la dernière année environ. Comparer l'entrepôt de données à Hadoop, c'est comme comparer des pommes à des oranges. L'entrepôt de données est un concept: des données propres, intégrées et de haute qualité. Je ne pense pas que le besoin d'un entrepôt de données disparaisse de si tôt. Hadoop est par contre une technologie. C'est un framework de calcul distribué pour traiter de gros volumes de données. Dans le passé, les entrepôts de données étaient généralement construits sur des bases de données relationnelles et des dispositifs d'entrepôt de données. Cependant, au cours des deux dernières années, le SGBDR a connu de nombreuses limitations (augmentation des coûts de licence face à des volumes de données croissants, utilisation insuffisante pour interroger des graphes et des hiérarchies et ingérer des types de données non structurés, etc.). Parallèlement, des moteurs de requêtes MPP SQL sur Hadoop sont apparus, tels qu'Apache Drill, qui permettent désormais d'interroger des données stockées sur Hadoop.
J'ai écrit toute une série de posts sur le sujet si vous êtes intéressé par tous les détails. L'entreposage de données à l'ère du Big Data. La fin d'une ère?
J'ai de superbes diapositives décrivant la différence entre Hadoop et Data Warehouse et comment elles se complètent:
J'ai trouvé ceci http://www.b-eye-network.com/view/17017 qui décrit la différence entre le big data et le data warehouse
lorsque nous comparons une solution Big Data à un entrepôt de données, que faisons-nous trouver? Nous trouvons qu'une solution Big Data est une technologie et ces données l'entreposage est une architecture. Ce sont deux choses très différentes. UNE la technologie n’est que cela - un moyen de stocker et de gérer de grandes quantités de Les données. Un entrepôt de données est un moyen d'organiser les données de telle sorte qu'il y ait la crédibilité et l'intégrité de l'entreprise. Quand quelqu'un prend des données d'un entrepôt de données, cette personne sait que d'autres personnes utilisent le même données à d'autres fins. Il existe une base pour la réconciliation des données quand il y a un entrepôt de données.
Je pense que vous trouverez l'article suivant très utile à vos pensées.
It’s important to divide the techniques of data warehousing from the implementation. Hadoop (and the advent of NoSQL databases) will auger the demise of data warehousing appliances and the “traditional” single database implementation of a data warehouse.
It is safe to say that traditional, single server relational databases or database appliances are not the future of big data or data warehouses.
On the other hand, the techniques of data warehousing to include Extract-Transform-and-Load (ETL), dimensional modeling and business intelligence will be adapted to the new Hadoop/NoSQL environments.
De: http://gcn.com/blogs/reality-check/2014/01/hadoop-vs-data-warehousing.aspx
L'entrepôt stocke les données réelles. Il stocke une partie des données du cluster. Data Warehouse est un système utilisé pour la création de rapports et l'analyse de données. Ce sont des référentiels centraux de données intégrées provenant d’une ou de plusieurs sources disparates. Ils stockent les données actuelles et historiques dans un seul endroit, qui sont utilisées pour créer des rapports analytiques.
contre.
Les données volumineuses désignent des données à grande échelle générées dans un environnement numérique. Ces données massives sont généralement volumineuses et ont un cycle de génération court. Il comprend non seulement des données numériques, mais également des données de texte et d’image. L’environnement Big Data est plus diversifié que les précédents. Comme les types de données sont variés et que leur taille est énorme, il est même possible d’analyser et de prédire les opinions et comportements des personnes . De plus, base de données Machbase lancera l’édition entreprise qui a un concept d'entrepôt.