Sẽ có những câu hỏi được đặt ra rằng là:

• Làm thế nào để chúng ta có thể trích xuất dữ liệu từ nguồn SAP
• Làm thế nào để chúng ta có thể trích xuất dữ liệu từ nguồn Solomon với cả các site nước ngoài
• Nguồn dữ liệu từ Excel sẽ ảnh hưởng như thế nào
• Làm sao để chúng ta có thể tự động hóa quy trình này
• Và làm sao để các giải pháp native nhất với AWS có thể để khách hàng dễ dàng sử dụng

Đầu tiên, để có thể trích xuất dữ liệu từ các nguồn về AWS, chúng ta sẽ cần phải thiết lập một đường kết nối bảo mật vì chúng ta không thể nào đẩy dữ liệu ra ngoài internet để trích xuất được như vậy rất nguy hiểm. Vậy nên chúng ta sẽ sử dụng VPN Site to Site của AWS để có thể tạo các đường VPN thông mạng từ AWS xuống dưới văn phòng của GreenFeed, cũng như là ở các site nước ngoài.

Về việc trích xuất dữ liệu, chúng ta có thể nghĩ đến ngay dịch vụ AWS DMS(Database Migration Service) nhưng thật đáng tiếc là DMS lại không hỗ trợ cho SAP và cũng như Solomon SQL Server của GreenFeed là version cũ mà DMS cũng không hỗ trợ. Thế nên chúng ta chỉ có thể tạo script để có thể trích xuất dữ liệu và Python sẽ là ngôn ngữ chính để chúng ta thực hiện việc này.

Đối với nguồn SAP, chúng ta tạo ra các application sử dụng SAM CLI, bằng việc sử dụng SAM CLI chúng ta chỉ cần phải quan tâm về mặt coding của chúng ta, SAM sẽ giúp chúng ta deploy lên Lambda Function AWS. Với nguồn SAP, chúng ta sẽ chia ra 2 nguồn  và trích xuất như sau:

• Các data dành cho Dimension Table
  • • Đối với các data dành cho Dimension, chúng ta sẽ thực hiện call Odata API của SAP để full load dữ liệu vào trong S3 ở dạng file csv. Sau đó sẽ tiến hành COPY dữ liệu từ S3 vào trong Redshift.
• Data dành cho Fact Table
  • • Đối với data dành cho Fact Table, chúng ta cũng sẽ call Odata API của SAP để load dữ liệu lịch sử lên trước, sau đó thực hiện load dữ liệu incremental hằng ngày và để vào trong S3. Từ S3 chúng ta cũng tiền hành COPY dữ liệu vào trong Redshift

Đối với nguồn Solomon, chúng ta cũng thực hiện một Python Script để trích xuất dữ liệu và để vào trong S3. Và đặc biệt hơn với dữ liệu của Solomon khá nhỏ, thế nên chúng ta có thể sử dụng Redshift Spectrum để query dữ liệu từ trong Redshift ra ngoài S3 mà không phải đẩy dữ liệu từ S3 vào trong Redshift. Để thuận tiện hơn trong việc query, chúng ta sẽ có 1 Glue Job để có thể tinh chỉnh lại Struct Type của toàn bộ bảng và convert về định dạng Parquet.

Đối với Excel, chúng ta upload thẳng lên S3 và load vào Redshift dùng câu lệnh COPY Command

Tiếp đến sẽ là việc tự động hóa các bước trên:

• Đối với SAP, chúng ta sẽ đặt các Lambda Function được tạo từ SAM CLI vào trong một Step Function cho từng loại data: Data cho Dimension, Data cho Fact. Với Fact data, Step Function sẽ có thêm 1 bước là lấy ngày hiện tại và chạy 1 store procedure để load dữ liệu vào Redshift incremental. Với Dimension Data Step Function sẽ thực hiện full load vào trong S3 và sau đó Evenbridge sẽ trigger query chạy Store Procedure để load các dữ liệu Dimension vào trong Redshift.
• Đối với Solomon SQL Server, script được đặt trong một EC2 server, thế nên chúng ta sẽ sử dụng Window Scheduler để có thể đặt schedule cho việc trích xuất dữ liệu. Sau đó bản thân AWS Glue có thể tự đặt schedule để convert về parquet với các dữ liệu mới.
• Đối với Excel, chúng ta cũng sử dụng Eventbridge để trigger các store procedure load dữ liệu vào trong Redshift.
• Sau khi dữ liệu từ các nguồn đã được load vào trong Redshift, chúng ta sẽ trigger các Store Procedure để load dữ liệu từ Staging của Redshift vào trong Datawarehous