Dataflow Gen2 est le composant ETL à faible code de Microsoft Fabric : il connecte vos sources de données, applique des transformations Power Query, puis dépose le résultat directement dans un Fabric Lakehouse, un Fabric Warehouse, une base Azure SQL ou encore Azure Data Explorer, sans écrire une seule ligne de pipeline. Depuis avril 2026, chaque nouveau dataflow Gen2 intègre le support CI/CD et Git par défaut, et bénéficie de l’assistance Copilot pour la génération de code M. C’est l’outil de référence pour les analystes et ingénieurs données qui veulent industrialiser l’ingestion sans passer par du code Spark.
En trois points pour agir maintenant :
- Tout nouveau flux de données doit être créé en Gen2 : Gen1 est en mode maintenance, sans nouveaux investissements.
- Pour la migration, commencez par les dataflows qui souffrent de temps d’actualisation longs ou d’erreurs fréquentes : c’est là que le gain est immédiat.
- Pour choisir votre destination : Lakehouse si vous construisez une architecture médaillon (bronze/argent/or), Warehouse si vos équipes consomment directement en SQL.
Table des matières
- Comment créer votre premier Dataflow Gen2 pas à pas ?
- Quelles sont les fonctionnalités clés de Dataflow Gen2 ?
- Quelles différences entre Dataflow Gen1 et Gen2 ?
- Quand utiliser Dataflow Gen2, ADF ou des notebooks Spark ?
- Comment passer de Dataflow Gen1 à Gen2 sans risque ?
- Gouvernance, sécurité, coûts et architecture cible
- Comment surveiller et dépanner vos Dataflows Gen2 ?
- Checklist de mise en production en Europe centrale (recommandations Biworks)
- Points clés
- Pourquoi Dataflow Gen2 change vraiment la donne pour les équipes BI
- Biworks vous accompagne dans votre projet Fabric
- Sources utiles et documentation officielle
- Questions fréquentes
Comment créer votre premier Dataflow Gen2 pas à pas ?
Prérequis avant de démarrer
Dataflow Gen2 nécessite une capacité Fabric (ou une capacité d’essai Fabric, ou une capacité Power BI Premium). Vous devez disposer d’un espace de travail Fabric activé et des droits de contributeur au minimum. Préparez également vos destinations : un Fabric Lakehouse ou un Fabric Warehouse déjà créés dans le même espace de travail, et les informations de connexion à vos sources (Azure Blob Storage, SQL Server, API REST, fichiers plats, etc.).
Étapes de création
- Dans votre espace de travail Fabric, cliquez sur + Nouvel élément, puis sélectionnez Dataflow Gen2.
- Dans l’éditeur Power Query Online, cliquez sur Obtenir des données et choisissez votre connecteur (parmi plus de 200 disponibles : Azure Blob, SQL Server, SharePoint, API REST, fichiers CSV…).
- Appliquez vos transformations : filtres, jointures, colonnes calculées, pivots — tout ce que vous connaissez de Power Query fonctionne ici.
- Configurez la destination en cliquant sur l’icône + dans le panneau « Destination des données » : sélectionnez Lakehouse, Warehouse, Azure SQL ou Azure Data Explorer.
- Vérifiez le mappage des colonnes (activé par défaut pour les nouvelles tables) et choisissez le mode de mise à jour (ajout ou remplacement).
- Cliquez sur Publier : le dataflow est sauvegardé, versionné dans Git si votre espace de travail est connecté, et prêt à être planifié ou intégré dans un pipeline Fabric.
Connecteurs et limites pratiques
Les connecteurs les plus utilisés en Europe centrale couvrent Azure Blob Storage, Azure SQL Database, SQL Server on-premises (via passerelle), SharePoint Online, Salesforce et les fichiers plats. Pour les sources on-premises, la passerelle de données locale reste indispensable. Notez que Dataflow Gen2 peut être inséré comme activité dans un pipeline Fabric, aux côtés de notebooks Spark et d’activités Copy, ce qui ouvre une orchestration complète sans outil externe.
Conseil de pro : Si vous migrez depuis Gen1, copiez directement le code M depuis l’éditeur avancé de votre ancien dataflow et collez-le dans Gen2 : dans la grande majorité des cas, les requêtes sont portables sans modification. Recréez ensuite les destinations et les planifications manuellement, car il n’existe pas d’outil de migration automatisée entre les deux générations.
Quelles sont les fonctionnalités clés de Dataflow Gen2 ?
Fast Copy : l’accélérateur pour les gros volumes
Pour les charges de volumes importants, Dataflow Gen2 délègue automatiquement l’ingestion au moteur Copy des pipelines Fabric plutôt qu’au moteur Power Query Mashup. Ce mécanisme réduit considérablement les temps d’exécution, ce qui améliore la fenêtre opérationnelle disponible pour les actualisations nocturnes et rend réaliste l’ingestion dans un dataflow unique. Ce gain n’est pas marginal : il change la fenêtre opérationnelle disponible pour les actualisations nocturnes et rend réaliste l’ingestion de téraoctets dans un dataflow unique.
Destinations multiples et mappage managé
Gen2 écrit directement dans plusieurs destinations : Fabric Lakehouse (tables et fichiers), Fabric Warehouse, Azure SQL Database, Azure Data Explorer (Kusto), base de données KQL, Fabric SQL Database, Azure Data Lake Gen2, Snowflake et SharePoint Files (en préversion). Le mappage managé est activé par défaut lors du chargement dans une nouvelle table : le schéma s’ajuste automatiquement à chaque republication. Attention toutefois, les paramètres automatiques (suppression/recréation de table) ne sont pleinement pris en charge que pour Lakehouse et Azure SQL Database ; les autres destinations demandent un paramétrage manuel.
- Schéma dynamique : pratique pour les sources dont la structure évolue, mais risqué si des mesures DAX ou des relations downstream dépendent de colonnes fixes.
- Schéma fixe : à privilégier en production pour protéger vos modèles sémantiques Power BI.
Copilot et CI/CD intégrés par défaut
Depuis 2026, Copilot pour Data Factory assiste la rédaction de transformations M et génère des explications de code pour les requêtes complexes. C’est particulièrement utile pour les analystes qui maîtrisent Power Query visuellement mais hésitent à écrire du M avancé. Le support CI/CD et Git est désormais activé par défaut sur tous les nouveaux dataflows Gen2 : chaque publication crée un commit dans votre dépôt, et vous pouvez gérer les branches de développement, recette et production comme n’importe quel artefact de code.
Conseil de pro : L’éditeur avancé pour les requêtes de destination expose les identifiants d’artefacts (ID Lakehouse, ID workspace) et permet de paramétrer les noms de tables via des paramètres M. C’est la clé pour des déploiements multi-environnements propres en CI/CD. Mais attention : activer la modification avancée rend l’interface standard inopérante pour cette destination — documentez chaque modification dans votre runbook.
Quelles différences entre Dataflow Gen1 et Gen2 ?
La rupture principale n’est pas cosmétique. Gen1 stocke les données transformées dans son propre espace interne, accessible uniquement via le connecteur Dataflow. Gen2 écrit directement dans vos artefacts Fabric, ce qui supprime une couche d’indirection et ouvre la consommation multi-outils (Power BI, Spark, SQL, notebooks).
| Dimension | Dataflow Gen1 | Dataflow Gen2 |
|---|---|---|
| Cas d’usage recommandés | Rapports Power BI autonomes, petits volumes, Pro/PPU | Ingestion ETL/ELT, volumes moyens à grands, Premium/Fabric |
| Intégrations cibles | Connecteur Dataflow uniquement | Lakehouse, Warehouse, Azure SQL, ADX, KQL |
| Performance / calcul | Moteur Power Query Mashup | Moteur Mashup + Fast Copy (délégation Copy Activity) |
| Support CI/CD et Git | Non natif | Intégré par défaut depuis avril 2026 |
| Surveillance et observabilité | Historique d’actualisation basique | Monitoring Hub, historique enrichi, alertes pipeline |
| Gouvernance et sécurité | Étiquettes MIP, audit log | MIP, audit log, VNet data gateway, Microsoft Purview |
| Coûts / facturation | Licence Pro ou PPU | Capacité Fabric (facturation à la capacité) |
Quelques fonctions de Gen1 disparaissent en Gen2 : la connexion DirectQuery via le connecteur Dataflow n’est pas disponible, et AutoML est déprécié. Si vos rapports Power BI s’appuient sur DirectQuery vers un dataflow Gen1, prévoyez un re-design vers DirectQuery sur Lakehouse ou Warehouse avant de migrer.
Quand utiliser Dataflow Gen2, ADF ou des notebooks Spark ?
Le guide de décision Microsoft est clair : Dataflow Gen2 cible les ingénieurs données et analystes qui préfèrent une interface visuelle Power Query, Azure Data Factory (ADF) sert les intégrations hybrides complexes avec des connecteurs spécialisés, et les notebooks Spark répondent aux transformations distribuées à grande échelle ou à la logique métier complexe.
| Scénario | Outil recommandé | Pourquoi |
|---|---|---|
| Ingestion low-code, petits à moyens volumes | Dataflow Gen2 | Interface Power Query, 200+ connecteurs, destinations Fabric natives |
| Données de petite à moyenne taille avec transformations visuelles | Dataflow Gen2 | Idéal selon le guide d’ingestion Lakehouse |
| Déplacement de données à grande échelle | Pipelines de données (ADF/Fabric) | Moteur Copy optimisé, connecteurs hybrides |
| Transformations complexes ou sources non prises en charge | Notebooks Spark | Flexibilité code-first, traitements distribués |
| Orchestration mixte (copie + transformation + notebook) | Pipeline Fabric avec Dataflow Gen2 en activité | Combine les trois outils dans un même flux |
En pratique, les architectures les plus solides combinent les outils : un pipeline Fabric orchestre une activité Copy pour l’ingestion brute, puis déclenche un Dataflow Gen2 pour les transformations et le profilage, et enfin un notebook Spark pour les enrichissements métier complexes. Chaque outil fait ce qu’il fait le mieux.
Comment passer de Dataflow Gen1 à Gen2 sans risque ?
La migration n’est pas automatisée, mais elle est structurable. L’approche par phases réduit les risques à chaque étape.
- Inventaire : listez tous vos dataflows Gen1, leur fréquence d’actualisation, leur volume et les rapports qui en dépendent.
- Priorisation : commencez par les dataflows qui causent des problèmes (actualisations lentes, erreurs fréquentes) — c’est là que Fast Copy apporte le meilleur retour.
- Construction en parallèle : créez le dataflow Gen2 équivalent sans supprimer Gen1. Copiez le code M depuis l’éditeur avancé Gen1 et collez-le dans Gen2.
- Recréation des destinations : configurez les destinations Lakehouse ou Warehouse, vérifiez le mappage des colonnes et choisissez le mode de mise à jour.
- Validation des sorties : comparez les résultats ligne à ligne entre Gen1 et Gen2 sur un échantillon représentatif avant tout basculement.
- Basculement des consommateurs : redirigez les rapports Power BI et les pipelines vers la nouvelle destination Gen2, puis désactivez Gen1.
- Nettoyage : supprimez les dataflows Gen1 migrés après une période de stabilisation d’au moins deux semaines.
Points de vigilance à ne pas négliger :
- La perte de DirectQuery via le connecteur Dataflow impose un re-design des rapports concernés.
- Le schéma dynamique (mappage managé) peut casser des mesures DAX si des colonnes sont renommées ou supprimées automatiquement : préférez le schéma fixe en production.
- Les planifications d’actualisation ne se migrent pas : recréez-les manuellement dans Gen2.
- Le monitoring change de nature : l’historique Gen1 n’est pas transféré dans le Monitoring Hub Gen2.
Gouvernance, sécurité, coûts et architecture cible
Sécurité et conformité RGPD en Europe centrale
Dataflow Gen2 hérite du modèle de sécurité Fabric : contrôles d’accès par espace de travail (RBAC), chiffrement des données au repos et en transit, intégration Microsoft Purview pour la gouvernance des données, et étiquettes de sensibilité MIP. Pour les organisations soumises au RGPD en Europe centrale, deux points méritent une attention particulière : la localisation des données (choisissez une région Azure européenne — West Europe ou North Europe — pour vos capacités Fabric) et la connectivité réseau sécurisée via la passerelle de données VNet, disponible uniquement en Gen2.
- Activez l’audit log Fabric pour tracer toutes les actualisations et accès aux données.
- Utilisez Microsoft Purview pour cartographier la lignée des données depuis la source jusqu’au rapport.
- Documentez les flux de données personnelles dans votre registre RGPD, en précisant la région de stockage Fabric.
Coûts et points de vigilance
La facturation Fabric repose sur la capacité. Dataflow Gen2 consomme des ressources à chaque actualisation, avec une consommation variable selon la complexité des transformations et l’utilisation de Fast Copy qui optimise cette consommation. Pour les petites organisations, le coût d’entrée d’une capacité Fabric peut représenter un frein : évaluez si le volume de données et la fréquence d’actualisation justifient l’investissement par rapport à une solution Power BI Premium Per User avec Gen1.
Conseil de pro : Pour optimiser vos coûts, planifiez les actualisations lourdes en dehors des heures de pointe et regroupez plusieurs petits dataflows en un seul quand la logique le permet. Chaque actualisation a un coût fixe de démarrage : multiplier les petits dataflows revient plus cher que consolider.
Architecture cible recommandée
L’architecture médaillon reste la référence pour les projets BI en Europe centrale :
- Couche bronze : ingestion brute via Dataflow Gen2 ou pipelines Copy vers le Fabric Lakehouse.
- Couche argent : transformations et nettoyage via Dataflow Gen2 (pour les analystes) ou notebooks Spark (pour les ingénieurs).
- Couche or / consommation : Fabric Warehouse pour les équipes SQL, ou modèle sémantique Power BI directement sur le Lakehouse.
Consultez le guide d’architecture Biworks pour des schémas détaillés adaptés aux contextes européens.
Comment surveiller et dépanner vos Dataflows Gen2 ?
Diagnostiquer une actualisation en échec
- Ouvrez le Monitoring Hub dans votre espace de travail Fabric et filtrez sur votre dataflow.
- Consultez l’historique d’actualisation enrichi : chaque étape (connexion, transformation, écriture destination) est horodatée et indique la durée et l’éventuelle erreur.
- Isolez la source du problème : connecteur (erreur d’authentification, timeout réseau), transformation (erreur M, type de données incompatible) ou destination (droits insuffisants, schéma incompatible).
- Pour les erreurs de transformation, examinez le code M dans l’éditeur avancé et testez chaque requête individuellement en mode aperçu.
- Mesurez la répartition du temps entre le moteur Power Query Mashup et Fast Copy : si Fast Copy n’est pas activé pour un volume important, vérifiez que la destination le supporte et que le seuil de délégation est atteint.
Astuces pour fiabiliser les actualisations
- Évitez les transformations inutiles en amont (filtres tardifs, colonnes non utilisées chargées) : chaque colonne supplémentaire augmente la charge du moteur Mashup.
- Pour les volumes supérieurs à 10 Go, vérifiez que Fast Copy est bien activé dans les paramètres du dataflow.
- Intégrez le dataflow dans un pipeline Fabric avec une activité de notification (Teams ou e-mail) en cas d’échec : vous serez alerté avant que les rapports ne soient impactés.
Conseil de pro : Pendant la migration Gen1 vers Gen2, créez un notebook de validation simple qui compare le nombre de lignes et quelques agrégats clés entre la table Gen1 et la table Gen2 après chaque actualisation. Automatisez ce notebook dans le pipeline de migration pour détecter toute divergence avant le basculement des consommateurs.
Checklist de mise en production en Europe centrale (recommandations Biworks)
Mettre un Dataflow Gen2 en production dans un contexte européen demande plus qu’une simple publication. Voici les points que Biworks vérifie systématiquement lors de ses missions d’accompagnement :
- Juridiction des données : confirmez que votre capacité Fabric est hébergée dans une région Azure européenne (West Europe, North Europe ou Switzerland North pour les exigences de résidence suisses).
- Latence réseau : pour les sources on-premises, déployez la passerelle de données dans la même région Azure que votre capacité Fabric pour minimiser la latence.
- Conformité RGPD : documentez chaque flux de données personnelles, activez les étiquettes de sensibilité MIP sur les artefacts Lakehouse/Warehouse, et configurez Microsoft Purview pour la lignée automatique.
- RBAC et moindre privilège : attribuez les rôles Fabric au niveau de l’espace de travail (Lecteur, Contributeur, Membre, Administrateur) selon le principe du moindre privilège. Évitez de donner des droits Administrateur aux comptes de service.
- Gestion des secrets : stockez les identifiants de connexion dans Azure Key Vault et référencez-les via les connexions Fabric plutôt que de les saisir en dur dans les dataflows.
- Tests de charge : simulez une actualisation complète avec le volume de données de production avant le passage en production réel.
- Runbook de réversibilité : documentez les étapes pour revenir à Gen1 en cas de problème critique pendant les premières semaines post-migration.
Biworks propose des formations Power Query et CI/CD pour acculturer vos analystes aux pratiques de versioning et de gouvernance des dataflows, un prérequis souvent sous-estimé dans les projets de migration.
Conseil de pro : Activez le Multi-Geo uniquement si votre organisation a des exigences réglementaires explicites de résidence des données dans plusieurs pays. Pour la plupart des entreprises d’Europe centrale, une capacité Fabric en West Europe couvre à la fois les besoins de performance et de conformité RGPD.
Points clés
Dataflow Gen2 est le chemin recommandé pour toute nouvelle ingestion dans Microsoft Fabric : il combine la familiarité de Power Query, la puissance de Fast Copy pour les gros volumes, et un support CI/CD natif qui industrialise le cycle de vie des pipelines.
| Point | Détails |
|---|---|
| Nouveaux dataflows en Gen2 | Gen1 est en mode maintenance sans nouveaux investissements : construisez exclusivement en Gen2. |
| Fast Copy pour les gros volumes | Au-delà de 10 Go, Fast Copy délègue au moteur Copy et peut réduire considérablement les temps d’ingestion. |
| CI/CD par défaut depuis avril 2026 | Chaque nouveau dataflow Gen2 est versionné dans Git automatiquement, sans configuration supplémentaire. |
| Destination selon l’usage | Choisissez Lakehouse pour une architecture médaillon, Warehouse pour une consommation SQL directe par vos équipes. |
| Accompagnement Biworks | Biworks propose audits d’architecture Fabric, migrations Gen1 vers Gen2 et formations certifiantes pour accélérer votre mise en production. |
Pourquoi Dataflow Gen2 change vraiment la donne pour les équipes BI
Après avoir accompagné plusieurs projets de migration et de déploiement Fabric en Europe centrale, un constat s’impose : la résistance à Gen2 vient presque toujours du même endroit. Les équipes connaissent Gen1, leurs rapports tournent, et migrer semble un risque sans bénéfice immédiat visible. C’est une erreur de calcul.
Le vrai gain de Gen2 n’est pas la vitesse d’actualisation, même si Fast Copy est spectaculaire sur les gros volumes. C’est la suppression de la couche d’indirection entre la transformation et la consommation. Quand vos données atterrissent directement dans un Lakehouse ou un Warehouse, elles deviennent accessibles à Power BI, à Spark, aux notebooks et aux requêtes SQL simultanément, sans dupliquer les flux. Les architectures qui nécessitaient trois outils distincts s’en sortent souvent avec un pipeline Fabric et un Dataflow Gen2 bien conçu.
Deux avertissements méritent d’être dits clairement. D’abord, le coût d’entrée d’une capacité Fabric reste un obstacle réel pour les petites structures : ne migrez pas si votre volume et votre fréquence d’actualisation ne justifient pas l’investissement. Ensuite, si vos rapports s’appuient sur DirectQuery vers un dataflow Gen1, la migration impose un re-design non trivial. Ce n’est pas insurmontable, mais ce n’est pas une migration à la légère non plus.
La recommandation est simple : commencez par un projet pilote sur un dataflow problématique, mesurez le gain réel, puis décidez de l’étendue de la migration sur des données concrètes plutôt que sur des promesses marketing.
Biworks vous accompagne dans votre projet Fabric
Passer à Dataflow Gen2 en production, c’est plus qu’une migration technique : c’est repenser l’architecture de vos flux de données pour en tirer le meilleur parti sur le long terme. Biworks intervient à chaque étape, de l’audit initial à la mise en production, avec des livrables concrets : cartographie de vos dataflows existants, plan de migration priorisé, atelier de prise en main Power Query et CI/CD, et runbook de déploiement adapté à votre environnement.
Nos consultants BI spécialisés Microsoft Fabric travaillent avec des équipes techniques et métier en Europe centrale, avec une attention particulière aux contraintes RGPD et de résidence des données. Pour les équipes qui souhaitent monter en compétence en interne, nos solutions sur mesure Power BI et Fabric incluent des ateliers pratiques éligibles au financement CPF. Contactez Biworks pour un premier échange sur votre architecture actuelle et vos objectifs de migration.
Sources utiles et documentation officielle
- Différences entre Dataflow Gen1 et Dataflow Gen2 — Microsoft Learn : référence principale sur les fonctionnalités comparées et les nouveautés 2026 (CI/CD par défaut, Copilot).
- Migrer de Dataflow Gen1 vers Dataflow Gen2 — Microsoft Learn : guide officiel avec scénarios de migration, options d’export/import et conseils de priorisation.
- Destinations de données et paramètres managés — Microsoft Learn : détail des destinations prises en charge, du mappage managé et des paramètres automatiques.
- Modification avancée pour les requêtes de destination — Microsoft Learn : guide sur l’éditeur M avancé, ses capacités CI/CD et ses précautions d’usage.
- Guide de décision pour le déplacement et la transformation des données — Microsoft Learn : matrice de décision officielle entre Dataflow Gen2, pipelines, notebooks et ADF.
- Options d’ingestion de données pour un Lakehouse — Microsoft Learn : comparatif des approches d’ingestion (sans code, Dataflow Gen2, pipelines, notebooks, Eventstream).
- Moving from Dataflow Gen1 to Gen2 — Team 400 Blog : retour d’expérience terrain sur la migration, les gains Fast Copy et les pièges courants.
- Guide complet Microsoft Fabric pour les équipes — Biworks : contexte élargi sur l’écosystème Fabric et les implications pour les équipes BI en 2026.
- Maîtriser vos flux de données en entreprise — Biworks : guide opérationnel sur la conception et la gestion des flux de données en contexte professionnel.
Questions fréquentes
Qu’est-ce que Dataflow Gen2 dans Microsoft Fabric ?
Dataflow Gen2 est l’outil ETL à faible code de Microsoft Fabric, basé sur Power Query Online, qui permet d’ingérer, transformer et charger des données directement dans des destinations Fabric (Lakehouse, Warehouse) ou Azure, avec support CI/CD et Copilot intégrés par défaut depuis avril 2026.
Comment utiliser Dataflow Gen2 pour ingérer des données ?
Créez un nouveau Dataflow Gen2 dans votre espace de travail Fabric, connectez-vous à votre source via l’un des 200+ connecteurs disponibles, appliquez vos transformations Power Query, configurez une destination (Lakehouse ou Warehouse), puis publiez : le dataflow peut ensuite être planifié ou déclenché depuis un pipeline Fabric.
Quelle est la différence principale entre Dataflow Gen1 et Gen2 ?
Gen1 stocke les données dans son propre espace interne accessible uniquement via le connecteur Dataflow, tandis que Gen2 écrit directement dans vos artefacts Fabric (Lakehouse, Warehouse, Azure SQL…), s’intègre dans les pipelines d’orchestration et bénéficie de Fast Copy pour les gros volumes. Gen1 ne reçoit plus de nouveaux investissements fonctionnels.
Quelle différence entre ADF et Dataflow Gen2 ?
Azure Data Factory excelle pour les intégrations hybrides complexes, les connecteurs spécialisés et les pipelines de copie à grande échelle. Dataflow Gen2 cible les analystes et ingénieurs qui préfèrent une interface visuelle Power Query pour des transformations low-code : les deux outils sont complémentaires et peuvent coexister dans un même pipeline Fabric.
Dataflow Gen2 est-il adapté aux petites organisations ?
Dataflow Gen2 requiert une capacité Fabric, dont le coût d’entrée peut être significatif pour les petites structures. Si vos volumes et fréquences d’actualisation sont faibles, évaluez d’abord si une capacité d’essai Fabric ou une licence Power BI Premium Per User avec Gen1 couvre vos besoins avant d’investir dans une capacité Fabric dédiée.