Cas d’usage Nifi : pagination REST, Jolt et monitoring

By adista

Contexte Chez Cyrès, nous gérons la saisie des temps via un outil pratique et puissant : Toggl. Dans le cadre de l’amélioration du reporting, m’est venu l’idée d’intégrer les rapports CSV de cet outil au sein de notre plateforme interne Cloudera. L’objectif de ce cas d’usage Nifi étant de pouvoir faire gagner du temps aux […]

Gouvernance des données : comment le Data Masking simplifie la tâche

By adista

Introduction à la gouvernance des données Que vos bases de données contiennent des données sensibles liées au bancaire, à la santé, aux données personnelles d’utilisateurs ou que vous ayez simplement à cœur de mettre en place une bonne gouvernance des données, vous allez sans doute devoir anonymiser vos données. Le data masking est une pratique […]

Monitoring Nifi via streaming de bulletin dans Hive 3

By adista

Dans le cadre du suivi de production et le monitoring Nifi, je vais vous présenter un moyen que nous utilisons pour sauvegarder l’ensemble des évènements « bulletin » au sein d’un cluster Nifi. Après avoir évoqué les enjeux, je vous présenterai l’implémentation technique ainsi qu’une alternative avec Impala. Composants utilisés pour le monitoring Nifi CDP […]

Architecture Druid, comment fonctionne-t-elle ?

By adista

Apache Druid est une base de données analytique axé temps réel offrant la possibilité de persister des quantités de données immenses et d’en extraire de l’information à une vitesse hallucinante, le tout couvrant de nombreux use cases. L’architecture Druid aurait donc tout pour plaire. La dernière version stable de Druid est la 0.20.0 ; il […]

La Cloudera Data Platform va plaire, mais à quel prix ?

By adista

Cloudera a depuis quelques mois sorti sa nouvelle plateforme Cloud native : Cloudera Data Platform. Elle se décline en plusieurs parties : de la gouvernance via SDX, une partie Cloud, piloté par Cloudera et déployable sur AWS et Azure (bientôt GCP) et enfin une partie hébergeable sur des serveurs chez soi avec une possibilité d’hybridation, possédant des capacités de déport de calcul dans un environnement conteneurisé Openshift.
Attention ! Les conteneurs sont à l’honneur pour ces offres attractives mais attention aux coûts cachés. Passons en revue ces différentes offres pour y voir plus clair

Conteneurisation et Virtualisation : où se situe le point de bascule ?

By adista

Bien que la virtualisation reste encore la technologie la plus en vue sur le marché du Cloud, la conteneurisation répond elle aussi à des besoins d’hébergement d’applications métiers, web et mobile. L’adoption de ces solutions semble être d’ailleurs partagée auprès des DSI d’entreprises.

Mais alors dans quel cas le choix d’une solution est-il fait au dépend de l’autre ? Rentrent-elles vraiment en concurrence ? « Oui et Non ». Nous vous éclairons ici sur cette bonne réponse de normand qui ne semble pas être si loin de la vérité… 🙂

Hadoop et Ansible – épisode 2 : Module Ansible HDFS

By adista

A l’air du tout automatique, penchons-nous sur une méthode qui fait ses preuves chez nos clients : incorporer Ansible dans les déploiements Big Data. Pour cette série d’articles nous allons voir comment nous automatisons nos déploiements Big Data avec Ansible. Episode 2 : Module Ansible HDFS Contexte Précédemment nous vous parlions d’une méthode que nous avons […]

Hadoop et Ansible – épisode 1 : HDFS

By adista

A l’air du tout automatique, penchons-nous sur une méthode qui fait ses preuves chez nos clients : incorporer Ansible dans les déploiements Big Data. Pour cette série d’articles nous allons voir comment nous automatisons nos déploiements Big Data avec Ansible. Episode 1 : HDFS Contexte Nous intervenons la majeure partie du temps sur des environnements sécurisés […]

Deep Learning, du commencement au Big Data contemporain

By adista

Par où commencer avec le Big Data ? Comment choisir les composants ? Quelles architectures ? Et après ? Deep Learning, kesako ? Autant de questions sans réponse lorsqu’on se lance dans le grand bain de la data. On essaye de vous aiguiller avec cette sélection d’articles qui ont attiré notre attention lors du mois […]