Proiectele de date sunt o parte intrinsecă a ecosistemului tehnic al unei organizații, însă inginerii de date din multe companii încă încearcă să rezolve probleme pe care alții le-au rezolvat deja. Acest ghid practic vă arată cum să oferiți date valoroase concentrându-vă pe diferite aspecte ale ingineriei datelor, inclusiv ingestia datelor, calitatea datelor, idempotenta și altele.

Autorul Bartosz Konieczny vă ghidează prin procesul de construire a proiectelor de inginerie a datelor de încredere, de la ingestia datelor până la observabilitatea datelor, concentrându-se pe tipare de proiectare în ingineria datelor care rezolvă probleme comune de afaceri într-un mod sigur și optimizat pentru stocare. Fiecare tipar include o descriere pentru utilizator a problemei, soluțiilor și consecințelor care plasează tiparul în contextul scenariilor din viața reală.

Pe parcursul acestei călătorii, veți folosi instrumente de date open source și servicii de cloud public pentru a vedea cum să puneți fiecare tipar în practică. Veți învăța:

• Provocările cu care se confruntă inginerii de date și impactul lor asupra sistemelor de date
• Cum se raportează aceste provocări la componentele sistemelor de date
• La ce folosesc tiparele de inginerie a datelor
• Cum să identificați și să remediați problemele cu componentele dumneavoastră actuale de date
• Soluții independente de tehnologie pentru proiecte noi și existente de date
• Cum să implementați tipare cu Apache Airflow, Apache Spark, Apache Flink și Delta Lake

Bartosz Konieczny este un inginer de date freelancer, care a programat timp de peste 15 ani. A ocupat diverse poziții superioare practice care l-au ajutat să lucreze la multe probleme de inginerie a datelor în procesarea batch și stream.

Pagini: 340, Dimensiuni: 17.8x17.8cm