dbt là startup với mid size dùng chứ ko thấy enterprise nào dùng mạnh cả. làm data ở việt nam mà thiếu Apache Spark thì làm sao pv DE được, DA thì ở cty lớn như bank thì lại ko có role này mà chỉ có BI với stack của ms + oracle
Căn bản Spark giờ dùng Hive làm Metadata Store xong dùng SparkSQL thấy nó chả khác gì SQL lắm, ko tính tiền lắm. Bảo phải biết Spark không rõ là cần học thêm những gì.
Spark hay pandas thì cái quan trọng là phải biết thao tác với dữ liệu thông qua DataFrame. Khi lượng data quá lớn và xử lý phức tạp thì cần high performance, khi đó Spark chiếm ưu thế. Vì thế câu này "làm data ở việt nam mà thiếu Apache Spark thì làm sao pv DE được" ko đúng; vì chỉ công ty lớn, data lớn phải phải sử dụng Apache Spark thôi. Thậm chí một số cloud native (ví dụ BigQuery) bây giờ cũng support mạnh computing, khi đó DE phải tận dụng computing từ cloud thay vì computing từ server của công ty, dẫn tới ko còn cần thiết Apache Spark nữa. Enterprise thì ko sử dụng DBT là đúng, nhưng ko phải là chỉ mid size company mới sử dụng dbt, large size cũng hoàn toàn có thể sử dụng dbt
Có thày nào biết cách đăng ký account của apple để push app lên nhanh hong, bữa giờ đăng ký mà nó ko charge tiền cũng không trả lời trả vốn gì.
Cuối năm công ty sa thải 1 đống contractor, trong đó có cả em gái người việt quản lý Kafka mình hay nhờ tạo topic với group id. tội quá
