Jak zacząć projekt w Big Data? Instrukcja onboardingu

Jak zacząć projekt w Big Data? Instrukcja onboardingu

Dziś bardzo, bardzo krótki wpis. W nawiązaniu do odcinka(20) podcastu “Big Data Po Polsku”. Poniżej przedstawiam krótką instrukcję – co zrobić, gdy wchodzimy do projektu? Jak się w nim odnaleźć? Czego odczekiwać i co skompletować w ciągu pierwszego tygodnia/dwóch?

Onboarding w projekcie Big Data. Instrukcja

  1. Ogólny cel + architektura.
  2. Poszczególne moduły + repozytoria do nich. Kluczowe mechanizmy modułów.
  3. Moduły a infrastruktura.
    • Gdzie są dane?
    • Jak uruchamiane są joby?
    • Gdzie są logi i jak je przejrzeć?
    • (jeśli jest Spark) Gdzie jest History Server?
  4. Linki do kluczowych miejsc. Repozytoria, serwisy, boardy (jira).
  5. Jak wygląda proces deploymentu?

 

A teraz – zapraszam do subskrypcji;-)

 

Loading