En tant que votre entreprise se développe et commence à générer des téraoctets de données complexes stockées dans différentes sources, il devient nécessaire d’incorporer un entrepôt de données comme BigQuery dans votre architecture de données pour migrer les données de Google Sheets vers BigQuery. Le filtrage des téraoctets de données sur des feuilles est une tâche monotone qui limite ce qui est réalisable en termes d’analyse de données.
Dans cet article de blog, nous allons vous montrer en détail comment vous pouvez déplacer des données de Google Sheets vers BigQuery.
Méthodes pour connecter Google Sheets à BigQuery
Maintenant que nous avons posé les bases sur les feuilles de calcul et l’importance d’incorporer BigQuery dans votre architecture de données, nous allons maintenant examiner comment importer des données de Google Sheets vers BigQuery. Il est supposé que vous possédez déjà un compte GCP. Si ce n’est pas le cas, vous pouvez en créer un ici. Google offre aux nouveaux utilisateurs 300 $ de crédits gratuits pendant un an. Vous pouvez toujours utiliser ces crédits gratuits pour vous familiariser avec GCP et accéder à BigQuery.
Méthode 1 : Utilisation de Hevo pour déplacer les données de Google Sheets vers BigQuery
Hevo est la seule plateforme de pipeline de données sans code en temps réel qui automatise de manière rentable les pipelines de données flexibles selon vos besoins.
Inscrivez-vous ici pour un essai gratuit de 14 jours !
En utilisant une plateforme entièrement gérée telle que Hevo, vous contournez toutes les complexités mentionnées précédemment et vous pouvez importer Google Sheet vers BigQuery en quelques minutes seulement. Vous pouvez y parvenir en 2 étapes simples :
- Étape 1 : Configurez Google Sheets en tant que source en saisissant le nom du pipeline et la feuille de calcul que vous souhaitez répliquer.
- Étape 2 : Connectez-vous à votre compte BigQuery et commencez à déplacer vos données de Google Sheets vers BigQuery en fournissant l’ID du projet, l’ID du jeu de données, le nom de l’entrepôt de données et le bucket GCS.
Pour plus de détails, consultez :
- Google Sheets Source Connector
- BigQuery Destinations Connector
Les principales fonctionnalités de Hevo sont les suivantes :
- Transformation des données : Il fournit une interface simple pour perfectionner, modifier et enrichir les données que vous souhaitez transférer.
- Gestion du schéma : Hevo peut détecter automatiquement le schéma des données entrantes et le mapper sur le schéma de destination.
- Chargement de données incrémentiel : Hevo permet le transfert de données modifiées en temps réel. Cela garantit une utilisation efficace de la bande passante des deux côtés.
Méthode 2 : Utilisation du connecteur BigQuery pour déplacer les données de Google Sheets vers BigQuery
Vous pouvez facilement importer des données de Google Sheets vers BigQuery en utilisant le connecteur de données de BigQuery. Les étapes ci-dessous illustrent comment procéder :
- Étape 1 : Connectez-vous à votre console GCP et accédez à l’interface utilisateur BigQuery via le menu hamburger.
- Étape 2 : Dans BigQuery, sélectionnez « Créer un ensemble de données ».
- Étape 3 : Après avoir créé l’ensemble de données, créez une table BigQuery qui contiendra les données de votre feuille de calcul. Pour créer une table BigQuery à partir de Google Sheets, cliquez sur « Créer une table » dans l’onglet « Créer une table ». Dans l’onglet « Créer une table », sélectionnez « Drive ».
- Étape 4 : Sous la fenêtre source, choisissez Google Drive comme source et remplissez l’onglet « Sélectionner l’URL de Drive » avec l’URL de votre feuille de calcul Google. Vous pouvez sélectionner CSV ou Sheets comme format. Les deux formats vous permettent de sélectionner la détection automatique du schéma. Vous pouvez également spécifier les noms de colonnes et les types de données.
- Étape 5 : Remplissez le nom de la table et sélectionnez « Créer une table ». Une fois vos Google Sheets liées à BigQuery, tous les changements apportés à votre feuille de calcul apparaîtront automatiquement dans BigQuery.
- Étape 6 : Maintenant que nous avons des données dans BigQuery, nous pouvons effectuer des requêtes SQL sur nos données. L’image suivante montre une requête courte que nous avons effectuée sur les données dans BigQuery.
Méthode 3 : Utilisation du connecteur Sheets pour déplacer les données de Google Sheets vers BigQuery
Cette méthode permet de charger directement des feuilles de calcul Google vers BigQuery, mais elle n’est disponible que pour les comptes Business, Enterprise ou Education G Suite.
Voici les étapes pour utiliser le connecteur de données de Sheets avec un jeu de données public :
- Étape 1 : Ouvrez ou créez une feuille de calcul Google Sheets.
- Étape 2 : Cliquez sur « Données > Connecteurs de données > Se connecter à BigQuery ».
- Étape 3 : Cliquez sur « Connecter », puis sélectionnez un projet Google Cloud avec une facturation activée.
- Étape 4 : Cliquez sur « Ensembles de données publics ». Tapez « Chicago » dans la boîte de recherche, puis sélectionnez le jeu de données « Chicago_taxi_trips ». Choisissez la table « taxi_trips » de ce jeu de données, puis cliquez sur le bouton « Connecter » pour terminer cette étape.
Voici à quoi ressemblera votre feuille de calcul Google Sheets :
Vous pouvez maintenant utiliser cette feuille de calcul pour créer des formules, des graphiques et des tableaux croisés dynamiques en utilisant les nombreuses techniques de Google Sheets.
Gérer l’accès et les paramètres de partage
Il est important de protéger vos données à la fois sur Sheets et BigQuery, vous pouvez donc gérer qui a accès à la feuille et à BigQuery. Pour ce faire, créez simplement un groupe Google pour servir de groupe de contrôle d’accès.
En cliquant sur l’icône de partage sur Sheets, vous pouvez accorder l’accès à vos membres d’équipe pour les autoriser à modifier, visualiser ou commenter. Toutes les modifications effectuées ici seront également répliquées sur BigQuery.
Cela servira de forme de gestion des accès pour votre ensemble de données.
Limitations de l’utilisation du connecteur Sheets pour connecter Google Sheets à BigQuery
Dans cet article de blog, nous avons couvert deux façons d’intégrer BigQuery dans Google Sheets jusqu’à présent. Malgré les avantages incommensurables du processus, il présente certaines limitations.
- Ce processus ne peut pas prendre en charge des volumes de données supérieurs à 10 000 lignes dans une seule feuille de calcul.
- Pour utiliser le connecteur Sheets pour BigQuery, vous devez disposer d’un compte Business, Enterprise ou Education G Suite. C’est une option coûteuse.
Introduction à Google Sheets
Les feuilles de calcul sont des feuilles de calcul électroniques qui contiennent des lignes et des colonnes dans lesquelles les utilisateurs peuvent saisir, gérer et effectuer des opérations mathématiques sur leurs données. Elles offrent aux utilisateurs la possibilité unique de créer des tableaux, des graphiques et des graphiques pour effectuer des analyses.
Google Sheets est un programme de feuille de calcul proposé par Google dans le cadre de sa suite d’éditeurs Google Docs. Cette suite comprend également Google Drawings, Google Slides, Google Forms, Google Docs, Google Keep et Google Sites.
Google Sheets vous offre la possibilité de choisir parmi une vaste variété d’emplois du temps, de budgets et d’autres feuilles de calcul pré-faites conçues pour améliorer votre travail et faciliter votre vie.
Voici quelques-unes des principales fonctionnalités de Google Sheets :
- Dans Google Sheets, toutes vos modifications sont enregistrées automatiquement pendant que vous tapez. Vous pouvez utiliser l’historique des révisions pour voir les anciennes versions de la même feuille de calcul, triées par les personnes qui ont apporté les modifications et la date.
- Il vous permet également d’obtenir des idées instantanées avec son panneau Explorer. Il vous permet d’obtenir une vue d’ensemble des données à partir d’une sélection de graphiques pré-remplis et de résumés informatifs parmi lesquels choisir.
- Google Sheets permet à tout le monde de travailler ensemble sur la même feuille de calcul en même temps.
- Vous pouvez créer, accéder et modifier vos feuilles de calcul où que vous soyez, sur votre tablette, votre téléphone ou votre ordinateur.
Introduction à BigQuery
BigQuery de Google est une technologie d’entrepôt de données conçue pour rendre l’analyse des données plus productive en fournissant une requête SQL rapide pour les données volumineuses. Les points suivants soulignent comment BigQuery peut contribuer à améliorer votre architecture de données dans son ensemble :
- En ce qui concerne BigQuery de Google, la taille n’est jamais un problème. Vous pouvez analyser jusqu’à 1 To de données et stocker jusqu’à 10 Go gratuitement chaque mois.
- BigQuery vous permet de vous concentrer sur l’analyse tout en abstrayant complètement toutes les formes d’infrastructure, afin que vous puissiez vous concentrer sur ce qui compte.
- L’incorporation de BigQuery dans votre architecture vous ouvre les services de GCP (Google Cloud Platform). GCP propose une suite de services cloud tels que le stockage de données, l’analyse de données et l’apprentissage automatique.
- Avec BigQuery dans votre architecture, vous pouvez appliquer l’apprentissage automatique à vos données en utilisant BigQuery ML.
- Si vous et votre équipe collaborez sur des feuilles de calcul Google, vous pouvez utiliser Google Data Studio pour créer des tableaux de bord interactifs et des rendus graphiques pour mieux représenter les données. Ces tableaux de bord sont mis à jour à mesure que les données sont mises à jour sur la feuille de calcul.
- BigQuery offre un régime de sécurité solide à tous ses utilisateurs. Il propose un accord de niveau de service de 99,9 % et respecte strictement les principes du bouclier de confidentialité. GCP offre à ses utilisateurs une gestion des identités et des accès (IAM) où vous, en tant qu’utilisateur principal, pouvez décider des données spécifiques auxquelles chaque membre de votre équipe peut accéder.
- BigQuery propose un modèle d’entrepôt élastique qui s’adapte automatiquement à la taille de vos données et à la complexité de la requête.
Conclusion
Ce blog parle des 3 différentes méthodes que vous pouvez utiliser pour déplacer des données de Google Sheets vers BigQuery de manière transparente.
Visitez notre site Web pour explorer Hevo
En plus de Google Sheets, Hevo peut déplacer des données à partir d’une variété de sources de données gratuites et payantes (bases de données, applications cloud, SDK, etc.). Hevo garantit que vos données sont constamment et en toute sécurité transférées de n’importe quelle source vers BigQuery en temps réel.
Avant de créer des processus personnalisés pour déplacer des données de Google Sheets vers BigQuery, inscrivez-vous à un essai gratuit de 14 jours pour découvrir la plateforme d’intégration de données sans tracas d’Hevo.
