Senior/Expert Data Engineer (Python/Java, Data Lake)

Laptop, Chế độ bảo hiểm, Du Lịch, Đồng phục, Chế độ thưởng, Chăm sóc sức khỏe, Đào tạo, Tăng lương, Nghỉ phép năm

a. Xây dựng và duy trì hệ thống Data Lake:

• Triển khai và tối ưu hóa hệ thống Data Lake sử dụng các công nghệ open source như MinIO, Iceberg, và Trino.
• Migrate dữ liệu từ các hệ thống sang Data Lake, bao gồm cả dữ liệu gần thời gian thực (near real-time) và dữ liệu batch (t-1).
• Thiết kế và bảo trì Data Marts cho các đơn vị trong công ty.

b. Quản lý luồng ETL:

• Xây dựng và quản lý luồng ETL sử dụng các công cụ như Airflow, dbt, ODI.
• Làm việc với team Phân tích và Khoa học Dữ liệu để làm giàu dữ liệu cho Data Lake và Data Mart.

c. Tài liệu hóa và làm sạch dữ liệu:

• Tài liệu hóa các mapping về dữ liệu Data Lake, Data warehouse, MetaData của các hệ thống tác nghiệp.
• Tham gia vào các hoạt động làm sạch dữ liệu trên các hệ thống.

d. Vận hành và báo cáo:

• Tham gia vào hoạt động vận hành và báo cáo về chất lượng dữ liệu theo mô hình Data Steward Models và Khung Quản trị Dữ liệu.