Khi doanh nghiệp của bạn phát triển và bắt đầu tạo ra hàng tá dữ liệu phức tạp được lưu trữ trong các nguồn khác nhau, việc tích hợp kho dữ liệu như BigQuery vào kiến trúc dữ liệu của bạn để di chuyển dữ liệu từ Google Sheets sang BigQuery trở nên cần thiết. Việc lọc hàng tá dữ liệu trên bảng tính là một công việc mệt mỏi hạn chế những gì có thể được thực hiện trong việc phân tích dữ liệu.
Trong bài viết này, chúng tôi sẽ chỉ cho bạn cách di chuyển dữ liệu từ Google Sheets sang BigQuery.
Các phương pháp kết nối Google Sheets với BigQuery
Giờ đây chúng tôi đã đặt nền tảng về bảng tính và tầm quan trọng của việc tích hợp BigQuery vào kiến trúc dữ liệu của bạn, giờ chúng ta sẽ xem xét cách nhập dữ liệu từ Google Sheets vào BigQuery. Điều đó giả định rằng bạn đã có tài khoản GCP. Nếu chưa có, bạn có thể tạo một tài khoản tại đây. Google cung cấp cho người dùng mới 300 đô la tín dụng miễn phí trong một năm. Bạn vẫn có thể sử dụng các khoản tín dụng miễn phí này để làm quen với GCP và truy cập BigQuery.
Phương pháp 1: Sử dụng Hevo để di chuyển dữ liệu từ Google Sheets sang BigQuery
Hevo là nền tảng ống dẫn dữ liệu thời gian thực không cần mã nguồn, tự động hóa quy trình ống dẫn dữ liệu linh hoạt dựa trên nhu cầu của bạn.
Đăng ký tại đây để nhận thử nghiệm miễn phí 14 ngày!
Bằng cách sử dụng một nền tảng quản lý hoàn toàn như Hevo, bạn phớt qua mọi sự phức tạp đã đề cập trước đó và bạn có thể nhập Google Sheet vào BigQuery chỉ trong vài phút. Bạn có thể đạt được điều này trong 2 bước đơn giản:
- Bước 1: Cấu hình Google Sheets như một nguồn bằng cách nhập tên đường ống và bảng tính bạn muốn sao chép.
- Bước 2: Đăng nhập vào tài khoản BigQuery của bạn và bắt đầu di chuyển dữ liệu từ Google Sheets vào BigQuery bằng cách cung cấp ID dự án, ID tập dữ liệu, tên kho dữ liệu và bucket GCS.
Để biết thêm chi tiết, hãy xem:
- Google Sheets Source Connector
- BigQuery Destinations Connector
Các tính năng chính của Hevo bao gồm:
- Chuyển đổi dữ liệu: Nó cung cấp một giao diện đơn giản để hoàn thiện, chỉnh sửa và làm phong phú dữ liệu bạn muốn chuyển.
- Quản lý schema: Hevo có thể tự động phát hiện schema của dữ liệu đầu vào và ánh xạ nó với schema đích.
- Tải dữ liệu dọc: Hevo cho phép di chuyển dữ liệu có sự thay đổi theo thời gian thực. Điều này đảm bảo sử dụng băng thông hiệu quả ở cả hai phía.
Phương pháp 2: Sử dụng BigQuery connector để di chuyển dữ liệu từ Google Sheets sang BigQuery
Bạn có thể dễ dàng nhập dữ liệu từ Google Sheets vào BigQuery bằng cách sử dụng connector dữ liệu của BigQuery. Các bước dưới đây mô tả cách thực hiện:
- Bước 1: Đăng nhập vào GCP console của bạn và truy cập vào giao diện người dùng BigQuery qua menu hamburger.
- Bước 2: Trong BigQuery, chọn “Tạo bộ dữ liệu”.
- Bước 3: Sau khi tạo bộ dữ liệu, tạo một bảng BigQuery chứa dữ liệu từ bảng tính của bạn. Để tạo một bảng BigQuery từ Google Sheets, nhấp vào “Tạo bảng” trong tab “Tạo bảng”. Trong tab “Tạo bảng”, chọn “Drive”.
- Bước 4: Dưới cửa sổ nguồn, chọn Google Drive là nguồn và điền vào tab “Chọn URL Drive” với URL từ bảng tính Google của bạn. Bạn có thể chọn CSV hoặc Sheets làm định dạng. Cả hai định dạng đều cho phép bạn chọn tự động phát hiện schema. Bạn cũng có thể chỉ định tên cột và kiểu dữ liệu.
- Bước 5: Nhập tên bảng và chọn “Tạo bảng”. Khi các bảng tính Google của bạn được liên kết với BigQuery, tất cả các thay đổi được thực hiện trên bảng tính của bạn sẽ tự động xuất hiện trên BigQuery.
- Bước 6: Giờ đây chúng ta đã có dữ liệu trong BigQuery, chúng ta có thể thực hiện các truy vấn SQL trên dữ liệu của chúng ta. Hình ảnh dưới đây hiển thị một truy vấn ngắn mà chúng tôi thực hiện trên dữ liệu trong BigQuery.
Phương pháp 3: Sử dụng Sheets connector để di chuyển dữ liệu từ Google Sheets sang BigQuery
Phương pháp này cho phép bạn trực tiếp tải bảng tính Google vào BigQuery, nhưng chỉ có sẵn cho tài khoản G Suite Business, Enterprise hoặc Education.
Dưới đây là các bước để sử dụng connector dữ liệu Sheets với một tập dữ liệu công cộng:
- Bước 1: Mở hoặc tạo một bảng tính Google Sheets.
- Bước 2: Nhấp vào “Dữ liệu > Các kết nối dữ liệu > Kết nối với BigQuery”.
- Bước 3: Nhấp vào “Kết nối”, sau đó chọn một dự án Google Cloud với tính năng thanh toán được bật.
- Bước 4: Nhấp vào “Bộ dữ liệu công cộng”. Gõ “Chicago” vào ô tìm kiếm, sau đó chọn tập dữ liệu “Chicago_taxi_trips”. Chọn bảng “taxi_trips” từ tập dữ liệu này, sau đó nhấp vào nút “Kết nối” để hoàn thành bước này.
Dưới đây là giao diện bảng tính Google Sheets của bạn sẽ hiển thị:
Bây giờ bạn có thể sử dụng bảng tính này để tạo công thức, biểu đồ và bảng tổng hợp sử dụng các kỹ thuật đa dạng của Google Sheets.
Quản lý truy cập và cài đặt chia sẻ
Điều quan trọng là bảo vệ dữ liệu của bạn cả trên Sheets và BigQuery, do đó bạn có thể quản lý ai có quyền truy cập vào bảng tính và BigQuery. Để làm điều này, chỉ cần tạo một nhóm Google để phục vụ như một nhóm kiểm soát quyền truy cập.
Bằng cách nhấp vào biểu tượng chia sẻ trên Sheets, bạn có thể cấp quyền truy cập cho các thành viên trong nhóm của bạn để cho phép họ chỉnh sửa, xem hoặc bình luận. Mọi thay đổi được thực hiện ở đây cũng sẽ được sao chép sang BigQuery.
Điều này sẽ phục vụ như một hình thức quản lý quyền truy cập cho bộ dữ liệu của bạn.
Hạn chế khi sử dụng connector Sheets để kết nối Google Sheets với BigQuery
Trong bài viết này, chúng tôi đã đề cập đến hai cách để tích hợp BigQuery vào Google Sheets cho đến nay. Mặc dù quy trình này có những lợi ích không thể đo lường được, nhưng nó cũng có một số hạn chế.
- Quy trình này không thể hỗ trợ các khối lượng dữ liệu lớn hơn 10.000 dòng trong một bảng tính duy nhất.
- Để sử dụng connector Sheets cho BigQuery, bạn cần có tài khoản G Suite Business, Enterprise hoặc Education. Điều này là một lựa chọn tốn kém.
Giới thiệu về Google Sheets
Bảng tính là các bảng tính điện tử chứa hàng và cột trong đó người dùng có thể nhập, quản lý và thực hiện các phép toán số trên dữ liệu của mình. Chúng cung cấp cho người dùng khả năng duy nhất để tạo bảng, biểu đồ và đồ thị để thực hiện phân tích.
Google Sheets là một chương trình bảng tính được cung cấp bởi Google trong framework của bộ công cụ Google Docs của họ. Bộ công cụ này cũng bao gồm Google Drawings, Google Slides, Google Forms, Google Docs, Google Keep và Google Sites.
Google Sheets cho phép bạn lựa chọn từ một loạt các lịch trình, ngân sách và các bảng tính sẵn có khác nhau được thiết kế để cải thiện công việc của bạn và làm cuộc sống dễ dàng hơn.
Dưới đây là một số tính năng chính của Google Sheets:
- Trong Google Sheets, tất cả các thay đổi của bạn được lưu tự động khi bạn gõ. Bạn có thể sử dụng lịch sử sửa đổi để xem các phiên bản trước của cùng một bảng tính, được sắp xếp theo người đã thực hiện các thay đổi và ngày tháng.
- Nó cũng cho phép bạn có ý tưởng tức thì với bảng điều khiển Khám phá của nó. Nó cho phép bạn có cái nhìn tổng quan về dữ liệu từ một tập hợp các biểu đồ mẫu và tổng kết thông tin mà bạn có thể chọn.
- Google Sheets cho phép bất kỳ ai cũng có thể làm việc cùng một bảng tính cùng một lúc.
- Bạn có thể tạo, truy cập và chỉnh sửa bảng tính của bạn bất cứ nơi nào, trên máy tính bảng, điện thoại hoặc máy tính của bạn.
Giới thiệu về BigQuery
BigQuery của Google là một công nghệ lưu trữ dữ liệu được thiết kế để làm cho phân tích dữ liệu trở nên hiệu quả hơn bằng cách cung cấp truy vấn SQL nhanh chóng cho dữ liệu lớn. Các điểm sau đây nhấn mạnh cách BigQuery có thể cải thiện kiến trúc dữ liệu của bạn như thế nào:
- Đối với BigQuery của Google, kích thước không bao giờ là vấn đề. Bạn có thể phân tích đến 1 TB dữ liệu và lưu trữ miễn phí tới 10 GB mỗi tháng.
- BigQuery cho phép bạn tập trung vào phân tích mà không cần quan tâm đến bất kỳ hạ tầng nào, để bạn có thể tập trung vào những điều quan trọng.
- Việc tích hợp BigQuery vào kiến trúc của bạn mở ra cho bạn dịch vụ GCP (Google Cloud Platform). GCP cung cấp một bộ dịch vụ đám mây như lưu trữ dữ liệu, phân tích dữ liệu và học máy.
- Với BigQuery trong kiến trúc của bạn, bạn có thể áp dụng học máy cho dữ liệu của mình bằng cách sử dụng BigQuery ML.
- Nếu bạn và đội của bạn đang làm việc trên bảng tính Google, bạn có thể sử dụng Google Data Studio để tạo bảng điều khiển tương tác và biểu đồ cho biểu diễn dữ liệu tốt hơn. Những bảng điều khiển này được cập nhật khi dữ liệu được cập nhật trên bảng tính.
- BigQuery cung cấp một chế độ bảo mật mạnh mẽ cho tất cả người dùng. Nó cung cấp một thoả thuận mức dịch vụ 99,9% và tuân thủ nghiêm ngặt các nguyên tắc của Privacy Shield. GCP cung cấp cho người dùng quản lý danh tính và quyền truy cập (IAM) nơi bạn, là người dùng chính, có thể quyết định dữ liệu cụ thể mà mỗi thành viên trong nhóm của bạn có thể truy cập.
- BigQuery cung cấp mô hình kho dữ liệu linh hoạt tự động điều chỉnh kích cỡ của dữ liệu và tính phức tạp của câu truy vấn.
Kết luận
Trong bài viết này, chúng tôi đã giới thiệu cho bạn 3 phương pháp khác nhau để di chuyển dữ liệu từ Google Sheets sang BigQuery một cách dễ dàng.
Truy cập vào trang web của chúng tôi để khám phá Hevo
Ngoài Google Sheets, Hevo còn có thể di chuyển dữ liệu từ nhiều nguồn dữ liệu miễn phí và trả phí khác nhau (cơ sở dữ liệu, ứng dụng đám mây, SDK, v.v.). Hevo đảm bảo rằng dữ liệu của bạn được di chuyển một cách liên tục và an toàn từ bất kỳ nguồn nào vào BigQuery theo thời gian thực.
Trước khi tạo quy trình tùy chỉnh để di chuyển dữ liệu từ Google Sheets sang BigQuery, hãy đăng ký để nhận một phiên dùng thử miễn phí trong 14 ngày để khám phá nền tảng tích hợp dữ liệu không cần sử dụng mã nguồn một cách dễ dàng của Hevo.
