ldhnam
Công nghệ, kinh tế, và những suy nghĩ rời rạc.Technology, economics, and scattered thoughts.
← Ghi chú← Notes

Kỹ sư dữ liệuData Engineer

20 ghi chú20 notes

⌕
  1. 01Giới thiệu về Data EngineeringIntroduction to Data EngineeringData engineering là ngành thiết kế, xây dựng và vận hành hạ tầng cùng các pipeline giúp di chuyển dữ liệu từ nơi nó được sinh ra đến nơi nó có thể được tin dùng — bởi analyst viết dashboard, bởi data scientist huấn…Data engineering is the discipline of designing, building, and operating the infrastructure and pipelines that move data from where it is produced to where it can be trusted and used — by analysts writing dashboards, by…19 Th7, 2026Jul 19, 2026
  2. 02Nền tảng lập trình & Công cụProgramming & Tooling FoundationsData engineering, xét cho cùng, là một ngành software engineering áp dụng vào việc di chuyển và định hình dữ liệu. Trước khi nói đến pipeline, warehouse hay orchestration tool, một data engineer cần một bộ kỹ năng lập…Data engineering is, at its core, a software engineering discipline applied to the movement and shape of data. Before pipelines, warehouses, or orchestration tools enter the picture, a data engineer needs a small…19 Th7, 2026Jul 19, 2026
  3. 03Nguồn dữ liệu & IngestionData Sources & IngestionMọi data pipeline đều bắt đầu từ một nơi nằm ngoài tầm kiểm soát trực tiếp của bạn: một application database do team product sở hữu, một API của SaaS bên thứ ba, một stream các event clickstream, một thư mục chứa file…Every data pipeline starts somewhere outside of your control: an application database that a product team owns, a third-party SaaS API, a stream of clickstream events, a folder of CSV files someone drops into object…19 Th7, 2026Jul 19, 2026
  4. 04Cơ sở dữ liệu quan hệRelational DatabasesPhần lớn data pipeline bắt đầu vòng đời từ một relational database. Ở đâu đó phía sau ứng dụng mà công ty bạn đang vận hành — service checkout, CRM, hệ thống billing — luôn có một instance PostgreSQL, MySQL, hay SQL…Most data pipelines start their life at a relational database. Somewhere behind the application your company runs — the checkout service, the CRM, the billing system — sits a PostgreSQL, MySQL, or SQL Server instance…19 Th7, 2026Jul 19, 2026
  5. 05Cơ sở dữ liệu NoSQLNoSQL DatabasesCơ sở dữ liệu NoSQL xuất hiện khắp nơi trong công việc của data engineer, nhưng hiếm khi là đích đến cuối cùng. Chúng thường đóng một trong hai vai trò: hệ thống vận hành (operational) mà pipeline trích xuất dữ liệu ra…NoSQL databases show up everywhere in a data engineer's world, but rarely as the final destination. They are usually one of two things: the operational system a pipeline extracts from, or the fast-serving layer a…19 Th7, 2026Jul 19, 2026
  6. 06Data Modeling & Data WarehousingData Modeling & WarehousingSự đối lập này quan trọng vì hai loại workload kéo thiết kế database theo hai hướng ngược nhau:A data warehouse is a centralized, structured store designed for analytical queries — the kind of question that scans months or years of history and aggregates it across many dimensions ("total revenue by region and…19 Th7, 2026Jul 19, 2026
  7. 07Data Lake & Kiến trúc hiện đạiData Lakes & Modern ArchitecturesMột data warehouse (xem 06 — Data Modeling & Warehousing) đòi hỏi bạn phải biết trước schema trước khi nạp bất kỳ dòng dữ liệu nào: bảng, cột, kiểu dữ liệu đều được định nghĩa từ đầu, và bất cứ thứ gì không khớp sẽ bị…A data warehouse (see 06 — Data Modeling & Warehousing) demands that you know your schema before you load a single row: tables, columns, and types are defined up front, and anything that doesn't fit gets rejected or…19 Th7, 2026Jul 19, 2026
  8. 08ETL/ELT & Data PipelineETL/ELT & Data PipelinesMột data pipeline là một chuỗi các bước tự động di chuyển dữ liệu từ một hoặc nhiều nguồn (source) đến một hoặc nhiều đích (destination), đồng thời áp dụng các transformation dọc đường. Đây chính là "hệ thống ống nước"…A data pipeline is an automated sequence of steps that moves data from one or more sources to one or more destinations, applying transformations somewhere along the way. It is the plumbing of the data engineering…19 Th7, 2026Jul 19, 2026
  9. 09Workflow OrchestrationWorkflow OrchestrationBất kỳ data pipeline nào không quá đơn giản thực chất đều là một đồ thị các bước phải chạy theo đúng thứ tự, theo một lịch trình (schedule) nhất định, và phải sống sót qua những lỗi không thể tránh khỏi của hệ thống…Every non-trivial data pipeline is really a graph of steps that have to run in a specific order, on a schedule, and survive the inevitable failures of distributed systems. Extract from an API, wait for it to land in a…19 Th7, 2026Jul 19, 2026
  10. 10Big Data & Distributed ComputingBig Data & Distributed ComputingMọi data platform sớm muộn cũng chạm phải cùng một bức tường: một table, một join, hay một job aggregation chạy đêm trước đây chỉ mất vài phút, giờ mất hàng giờ, hoặc đơn giản là không còn vừa trong memory của máy đang…Every data platform eventually hits the same wall: a table, a join, or a nightly aggregation job that used to finish in minutes now takes hours, or simply doesn't fit in the memory of the machine running it. At that…19 Th7, 2026Jul 19, 2026
  11. 11Streaming & Dữ liệu Real-timeStreaming & Real-Time DataPhần lớn công việc của một data platform xoay quanh câu hỏi về thời gian: con số này cần "tươi" đến mức nào? Một báo cáo tài chính hàng tháng có thể chấp nhận dữ liệu cũ một ngày. Nhưng một mô hình fraud detection quyết…Most of what a data platform does is fundamentally about time: how fresh does this number need to be? A monthly finance report can tolerate data that's a day old. A fraud model deciding whether to block a credit card…19 Th7, 2026Jul 19, 2026
  12. 12Container & OrchestrationContainers & OrchestrationMột data pipeline chạy hoàn hảo trên laptop rồi âm thầm fail khi lên production là một trong những sự cố phổ biến — và cũng dễ tránh nhất — trong nghề này. Thủ phạm gần như luôn là environment drift: một phiên bản…A data pipeline that runs perfectly on your laptop and then fails silently in production is one of the most common — and most avoidable — incidents in this field. The culprit is almost always environment drift: a…19 Th7, 2026Jul 19, 2026
  13. 13Cloud Data PlatformCloud Data PlatformsHầu như mọi data platform được xây dựng ngày nay đều chạy trên server của người khác. Đây không phải chi tiết phụ — đó là thực tế vận hành cốt lõi của data engineering hiện đại, và cần hiểu tại sao trước khi liệt kê…Almost every data platform built today is built on someone else's servers. That is not a footnote — it is the defining operational fact of modern data engineering, and it is worth understanding why before cataloguing…19 Th7, 2026Jul 19, 2026
  14. 14Data Quality, Governance & MetadataData Quality, Governance & MetadataMọi ghi chú khác trong bộ kiến thức này — ingestion (xem 03 — Data Sources & Ingestion), pipeline (xem 08 — ETL, ELT & Data Pipelines), warehouse và lake (xem 06 — Data Modeling & Warehousing và 07 — Data Lakes & Modern…Every other note in this knowledge base — ingestion (see 03 — Data Sources & Ingestion), pipelines (see 08 — ETL, ELT & Data Pipelines), warehouses and lakes (see 06 — Data Modeling & Warehousing and 07 — Data Lakes &…19 Th7, 2026Jul 19, 2026
  15. 15Bảo mật & Tuân thủ dữ liệuData Security & ComplianceMọi note khác trong bộ kiến thức này đều nói về việc làm cho dữ liệu di chuyển nhanh hơn, đổ vào những hình dạng hữu ích hơn, và trả lời được nhiều câu hỏi hơn. Note này nói về lý do vì sao không điều gì trong số đó…Every other note in this knowledge base is about making data move faster, land in more useful shapes, and answer more questions. This note is about the reason none of that is allowed to happen carelessly: the pipelines…19 Th7, 2026Jul 19, 2026
  16. 16Testing cho Data PipelineTesting for Data PipelinesTesting cho application thường chỉ hỏi một câu: code có đúng không? Testing cho data pipeline phải hỏi đồng thời hai câu: code có đúng không, và dữ liệu có đúng không? Một transformation function có thể hoàn toàn không…Application testing asks one question: is the code correct? Data pipeline testing has to ask two questions at once: is the code correct, and is the data correct? A transformation function can be logically flawless —…19 Th7, 2026Jul 19, 2026
  17. 17CI/CD cho Data EngineeringCI/CD for Data EngineeringCI/CD cho một application thông thường trả lời một câu hỏi khá gọn: "code mới có chạy đúng không, và nếu không thì có rollback được không?" Một deploy application tệ thường chỉ có nghĩa là website bị down hoặc một nút…CI/CD for a web application answers a fairly contained question: "does the new code work, and can we roll it back if it doesn't?" A bad application deploy usually means the website is down or a button is broken —…19 Th7, 2026Jul 19, 2026
  18. 18Monitoring & ObservabilityMonitoring & ObservabilityMột pipeline có thể chạy xong với dấu tick xanh, không có lỗi nào trong log, và thời gian chạy nằm hoàn toàn trong khoảng bình thường — nhưng vẫn đưa cho team business một dashboard được xây trên dữ liệu cũ (stale), bị…A pipeline can finish with a green checkmark, zero errors in the logs, and a runtime well within its usual window — and still hand the business team a dashboard built on stale, truncated, or silently corrupted data…19 Th7, 2026Jul 19, 2026
  19. 19Analytics, BI & Data ServingAnalytics, BI & Data ServingTừ đầu đến giờ, các bài trong bộ kiến thức này đều xoay quanh việc đưa dữ liệu vào một nơi được tổ chức tốt: ingest dữ liệu (./03-data-sources-and-ingestion.md), modeling vào warehouse…Every note so far in this knowledge base has been about getting data into a well-shaped place: ingesting it (./03-data-sources-and-ingestion.md), modeling it into a warehouse (./06-data-modeling-and-warehousing.md), and…19 Th7, 2026Jul 19, 2026
  20. 20Sự nghiệp & Best PracticesCareer & Best PracticesMọi chủ đề khác trong bộ kiến thức này trả lời một câu hỏi "làm thế nào": làm sao để model một warehouse, làm sao để orchestrate một DAG, làm sao để streaming events, làm sao để test một pipeline. Chủ đề capstone này…Every other topic in this knowledge base answers a "how" question: how to model a warehouse, how to orchestrate a DAG, how to stream events, how to test a pipeline. This capstone topic answers the "so what" — how the…19 Th7, 2026Jul 19, 2026