Jak zostać ekspertem? (Big Data Po Polsku) [Audio]

Jak zostać ekspertem? (Big Data Po Polsku) [Audio]

Kim jest prawdziwy ekspert? PO CO się wysilać, żeby zostawać ekspertem? I wreszcie – jak to dokładnie zrobić w Big Data? Kilka słów o moim podejściu, o konkretnych sposobach zdobywania umiejętności oraz przepis na rozwój.
Proszę, oceń ten odcinek i podaj go dalej;-)

Odcinek(7) – o byciu ekspertem Big Data (i nie tylko!)

Gdzie znajdziesz ten odcinek?

Podcast znajdziesz w kilku miejscach. Linki będą sukcesywnie dochodzić.

  1. Spotify
  2. YouTube
  3. Podbean
  4. Tutaj!
  5. Apple podcast (niebawem)
  6. Google Podcast

    Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

     

    Loading
HDFS w praktyce – poradnik DLA POCZĄTKUJĄCYCH (HDFS Shell i budowa) [wideo] [jesień]

HDFS w praktyce – poradnik DLA POCZĄTKUJĄCYCH (HDFS Shell i budowa) [wideo] [jesień]

W poprzednim wideo poznaliśmy to czym jest Hadoop. Dzisiaj pociągniemy temat, ale już dużo bardziej praktycznie. Zależało mi bardzo na tym, żeby pokazać jak ta praktyka ma się do rzeczywistości. Pokazałem więc między innymi jak architektura którą omawiałem w poprzednim wideo, ma się do mojego klastra z którego korzystam na co dzień.

Przede wszystkim jednak – wskazałem w jaki sposób popracować z plikami wykorzystując do tego HDFS Shell.

Zapraszam do oglądania!

Jak działa HDFS? Sama praktyka

Poniżej wideo o którym mówię. Poprzednie wprowadzające do Hadoopa – można obejrzeć pod tym linkiem.

Tutaj pobierzesz maszynę wirtualną, która będzie pomocna przy ćwiczeniach Hadoopa.

Zachęcam do subskrypcji kanału na YouTube!

Dzięki temu nie przegapisz żadnego wideo z serii jesiennej!

Wideo obejrzysz tutaj:

 

Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

 

Loading
Z “wiedzy tajemnej” robimy “wiedzę użyteczną” – czyli jak kursanci oceniają szkolenia Big Data w RDF?

Z “wiedzy tajemnej” robimy “wiedzę użyteczną” – czyli jak kursanci oceniają szkolenia Big Data w RDF?

Niezależnie od samopoczucia, ego i tego co myślimy o sobie sami – końcem końców, najważniejsze jest to, jaki jest obiektywny finał naszej pracy. Jeśli chodzi o szkolenia Big Data, to uważam, że “finał” składa się z dwóch czynników:

  • Co kursanci uważają o szkoleniu
  • Jak kursanci radzą sobie po szkoleniu w “prawdziwym życiu”

Z niektórymi utrzymuję kontakt do dzisiaj. Czasami bliski, czasami bardzo sporadyczny. Ostatnio poprosiłem niektórych z nich, czy mogą podzielić się opiniami na temat szkoleń, które dostali w RDF. Co prawda opinie ciągle spływają, jednak już teraz chcę się podzielić pierwszymi kilkoma.

To tylko niektóre z nich. Całą listę znajdziesz pod tym linkiem.

Przepis na sukces w szkoleniach Big Data? Solidne przygotowanie to podstawa…

“Szkolenie przygotowane i przeprowadzone bardzo sprawnie i profesjonalnie. Doskonałe wyważenie teorii i praktyki co pozwoliło praktycznie natychmiast utrwalić nowo zdobytą, niełatwą, wiedzę. Zadania praktyczne niebanalne {dla początkujących} wymagające nie tylko prostego zastosowania wiedzy teoretycznej, ale także samodzielnego rozwiązywania problemów, co zachęca, po ukończenia zadania, do dalszej pracy nad właśnie rozpoczętym “projektem”. Całość spinają doskonałe przygotowanie środowiska oraz wysoka wiedza i, co nie mniej ważne, znakomita umiejętność jej przekazania przez prowadzącego który z “wiedzy tajemnej” robi “wiedzę użyteczną”. Jedno z najlepszych szkoleń w jakich brałem udział.

Dariusz Zygmunt-Broda
Big Data Engineer

“Zdecydowanie rekomenduję szkolenia z zakresu Big Data prowadzone przez firmę Riotech Data Factory. Prowadzący posiadają duże doświadczenie i obszerną wiedzę, którą w sposób profesjonalny i przystępny przekazują uczestnikom. Podczas przygotowania i realizacji szkoleń kadra wykazała się profesjonalizmem zarówno, jeśli chodzi o zakres merytoryczny, przystępność przekazywanej wiedzy, jak i jakość dostarczonych materiałów.

Piotr Lipiński
Big Data Engineer

…ale pasja i zaangażowanie jest niemniej ważne;-)

“Miałem okazję uczestniczyć w kilkudniowych warsztatach poświęconych oprogramowaniu Apache Spark prowadzonych przez Marka. Jego ogromna wiedza i pasja pozwoliły mi lepiej poznać świat technologii Big Data. Marek w przystępny sposób opowiedział, na czym polega rozproszone przetwarzanie danych, a następnie – jak działa i do czego służy Spark. Solidne podstawy teoretyczne posłużyły jako punkt wyjścia do zmierzenia się z zadaniami praktycznymi o różnym poziomie zaawansowania. Część zadań wykonywana była lokalnie, a część na klastrze obliczeniowym w chmurze. Na zajęciach znalazł się czas zarówno na pracę indywidualną, jak i wspólne rozwiązywanie problemów. Marek cały czas służył radą i z dużym zaangażowaniem odpowiadał na wszystkie nurtujące mnie pytania. Warsztaty były fascynujące i co najważniejsze pozwoliły mi na rozpoczęcie samodzielnej pracy ze Sparkiem.”
Wojtek Kazanecki
Big Data Engineer
“Kilka miesięcy temu brałam udział w szkoleniu na temat Big Data wraz z Markiem jako prowadzącym szkolenie. Był to intensywny, ale dobrze wykorzystany czas, który przygotował mnie do pracy w roli Big Data Developera. W trakcie szkolenie położony jest nacisk nie tylko na wiedze teoretyczna, ale także na część praktyczna, dzięki czemu przyswajanie wiedzy jest szybsze i skuteczniejsze. Sam Marek jest świetnym nauczycielem i prowadzącym — ciekawie opowiada o temacie, ma wiedzę, a także potrafi ją w efektywny sposób przekazać. Właściwy człowiek na właściwym miejscu :)!
Justyna Replin
Big Data Engineer

Dołącz do naszej społeczności!

Zdobywanie wiedzy nie musi być nudne. Wręcz przeciwnie – z natury jest fascynujące! Jeśli masz podobne zdanie i chcesz poznawać Big Data, czas najwyższy zapisać się do newsletera RDF. Na start dostaniesz… prawie 140 stron wiedzy w postaci ebooka.

Z pewnością spodoba Ci się także podcast “Big Data Po Polsku”, w którym uczę się świata przez pryzmat danych.

Na koniec – zachęcam do zajrzenia na kanał YouTube. Znajdziesz tam treści i techniczne i biznesowe!

 

Loading
Co to jest (i jak działa) Hadoop? DLA KOMPLETNIE ZIELONYCH [Wideo] [jesień]

Co to jest (i jak działa) Hadoop? DLA KOMPLETNIE ZIELONYCH [Wideo] [jesień]

Niedawno zacząłem nową serię – serię jesienną, gdzie zgłębiamy podstawy technologii Big Data. Będziemy kroczek po kroczku poznawać absolutne podstawy. Celem jest “zahaczka” dla każdego, kto chce ruszyć z tematem, ale nie ma pomysłu jak to zrobić:-).

W pierwszym wideo odpowiadałem na pytanie “co to jest Big Data?”obejrzysz pod tym linkiem.

Co to jest Hadoop?

Drugie wideo to rozpoczęta miniseria o Hadoopie. Konkretnie:

  • Co to jest Hadoop
  • Jakie komponenty zawiera Hadoop
  • Jak działa Hadoop
  • Jak powstał – czemu jest tak bardzo ważny?
  • Jaka jest architektura HDFS?

Zachęcam do subskrypcji kanału na YouTube!

Dzięki temu nie przegapisz żadnego wideo z serii jesiennej!

Wideo obejrzysz tutaj:

 

Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

 

Loading
Jak są zbudowane wyszukiwarki internetowe (google)? (Big Data Po Polsku) [Audio]

Jak są zbudowane wyszukiwarki internetowe (google)? (Big Data Po Polsku) [Audio]

Jak działają wyszukiwarki internetowe? Jak jest zbudowane google? Dlaczego wyniki wyszukiwania różnią się, mimo wpisania tych samych fraz? Jak działają podpowiedzi podczas wpisywania fraz? Jak możemy zbudować swoją własną wyszukiwarkę?

O tym i o wielu innych rzeczach w dzisiejszym odcinku Big Data Po Polsku;-).

Nowy odcinek co drugą środę. Zostań na dłużej! Subskrybuj kanał tam gdzie słuchasz oraz zapisz się na newsletter.

Odcinek (5) – Jak działa Google?

Gdzie znajdziesz ten odcinek?

Podcast znajdziesz w kilku miejscach. Linki będą sukcesywnie dochodzić.

  1. Spotify
  2. YouTube
  3. Podbean
  4. Tutaj!
  5. Apple podcast (niebawem)
  6. Google Podcast (niebawem)

    Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

     

    Loading
Jak wyglądają szkolenia Big Data w RDF? [Wideo]

Jak wyglądają szkolenia Big Data w RDF? [Wideo]

Jak wyglądają szkolenia Big Data? Jakie są rodzaje szkoleń Big Data? Co sprawia, że szkolenia w Riotech Data Factory są skuteczne? Na co stawiamy akcent?

O tym wszystkim w najnowszym wideo;-). Zachęcam nie tylko do obejrzenia, ale także subskrypcji kanały RDF na YouTube!

Szkolenia Big Data – jak to wygląda?

 

 

Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

 

Loading

 

Jak przeżyć jesień z Big Data, żeby była fenomenalnym wsparciem zamiast depresantem? (Big Data Po Polsku) [Audio]

Jak przeżyć jesień z Big Data, żeby była fenomenalnym wsparciem zamiast depresantem? (Big Data Po Polsku) [Audio]

Być może jesień to dla Ciebie czas przygnębienia. W dzisiejszym odcinku “Big Data Po Polsku” staram się pokazać, że może być dokładnie na odwrót. Przeżyjmy jesień “na własnych zasadach” – roziwjajac się, ucząc i… czerpiąc z tego przyjemność. Odcinek(4) to także miejsce, które będzie punktem wyjścia do poznania kilku kluczowych technologii – a więc przegląd technologii Big Data! Nowy odcinek co drugą środę. Zostań na dłużej! Subskrybuj kanał tam gdzie słuchasz oraz zapisz się na newsletter.

Odcinek(4) – co robić w jesień, żeby nie była depresyjna?

Gdzie znajdziesz ten odcinek?

Podcast znajdziesz w kilku miejscach. Linki będą sukcesywnie dochodzić.

  1. Spotify
  2. YouTube
  3. Podbean
  4. Tutaj!
  5. Apple podcast (niebawem)
  6. Google Podcast (niebawem)

    Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

     

    Loading

 

Użytkownicy, grupy, uprawnienia – Linux na skróty. [Notatka techniczna #1]

Użytkownicy, grupy, uprawnienia – Linux na skróty. [Notatka techniczna #1]

Być może to absurdalne, ale co jakiś czas muszę sobie przypominać naprawdę podstawowe rzeczy. Takie, do których aż głupio się przyznać. Z jednej strony z pewnością nie jest to powód do dumy i należy nad tym pracować. Z drugiej – pozwala mi to nabrać odpowiedniej pokory. I przydaje się ona szczególnie podczas szkoleń, gdy widzę jak kursanci nie pamiętają podstawowych poleceń, składni itd. Najgłupszą rzeczą którą mógłbym zrobić byłoby irytowanie się na nich. Fakt, że sam ma takie problemy pomaga mi lepiej podejść w takich sytuacjach;-).

Dzisiaj o takich “głupotkach” w kontekście linuxa.

Baza wiedzy

Dzisiaj jeden ze sposobów na poradzenie sobie z tym. Baza Wiedzy – coś co bardzo, bardzo polecam. Nie polegamy jedynie na głowie, ale spisujemy to co mamy zapamiętać w jednym miejscu, do którego możemy zajrzeć. To może być zwykły zeszyt, może być dokument na Google Drive – cokolwiek. Dzięki temu nie tylko mamy do czego się odnieść, ale też powtarzamy sobie zapisując “po swojemu”. Dzisiaj wyjątkowo taką bazą wiedzy chcę się podzielić. Wpadłem na pomysł, że raz na jakiś czas będę robił notatki techniczne.

Takie notatki techniczne nie będą tutorialem, ale skrótowym zapisem teorii lub wykonania czegoś, co po raz kolejny muszę odkrywać na nowo.

Kawa w dłoń i lecimy z tematem. Dzisiaj notatka o Linuxie. A konkretnie o użytkownikach, grupach i uprawnieniach.

Aha, warto nadmienić że ja pracuję obecnie na Ubuntu. No to lecimy już serio.

Uprawnienia w Linux (centos, ubuntu, obojętnie)

Typy uprawnień:

  1. Read
  2. Write
  3. Execute

Typy pliku:

  1. d – Folder (directory)
  2. s – Plik specjalny (special file)
  3. – (zwykły plik – regular file, oznaczany jako taki właśnie myślnik)

Jak sprawdzić uprawnienia?

Wchodzimy w odpowiedni folder w którym chcemy sprawdzić uprawnienia plików (i folderów).

Wpisujemy polecenie ls -l

Interesuje nas to co jest po lewej stronie konkretnego pliku – czyli 10 znaków.

Dla pliku Bogata Polska Emerytura:

  1. Pierwszy znak określa jaki to rodzaj pliku: “-” czyli zwykły plik
  2. Kolejne 3 określaja uprawnienia właściciela: “rw-” czyli właściciel może czytać i zapisywać (read, write).
  3. Kolejne 3 określają uprawnienia innych członków grupy: “r–” czyli mogą oni jedynie czytać (read)
  4. Kolejne 3 określają uprawnienia wszystkich innych osób: “r–” czyli także muszą zadowolić się przeczytaniem (read)

Warto dodać, że użytkownik i grupa są widoczny w kolejnych rubrykach – tutaj to właściciel root (po lewej) i grupa także root (po prawej).

Zmiana uprawnień w linuxie

  1. Zmiana właściciela pliku: chown <user> <file or directory>
  2. Zmiana grupy pliku (analogicznie do [1]): chgrp <groupname> <file or directory>
  3. Zmiana właściciela i grupy w tym samym momencie: chown <new owner>:<new group> <file or directory>

Grupy

Są dwa rodzaje grup: primary (każdy ma dokładnie jedną) i secondary (zero lub więcej).

Polecenia:

  1. Tworzenie nowej grupy: groupadd <group name>
  2. Wylistowanie wszystkich grup: getent group
  3. Wylistowanie wszystkich grup użytkownika:
    • swoje grupy: group
    • grupy użytkownika username: groups username
  4. Tworzenie nowego użytkownika (username) z primary group (users) i secondary groups (wheel, developers): useradd -g users -G wheel,developers username
    • ja osobiście wolę bardziej wysokopoziomowe narzędzie adduser i utworzenie tam użytkownika, a następnie operacje na grupach
  5. Dodawanie istneijącego użytkownika do grupy: usermod -a -G <group name> <user name>
    • -a oznacza append. Bez tego użytkownik zostanie dodany do grupy, ale usunięty z innych
    • -G oznacza że chcemy dodać do grupy
  6. Usuwanie użytkownika z grupy: gpasswd -d <user name> <group name>
  7. Usuwanie grupy: groupdel <group name>
    • Ważne: grupa musi być pusta
  8. Czyszczenie grupy z wszystkich użytkowników: groupmems -p -g <group name>

Tworzenie użytkownika w Linux (centos, ubuntu, obojętnie)

Polecenia:

  1. Podstawowe utworzenie użytkownika: useradd -m username
    • Tu tworzymy użytkownika z grupą “username”
    • -m wymusza utworzenie razem z katalogiem domowym (domyślnie /home/username)
  2. Tworzenie z pominięciem hasła: adduser –disabled-password –gecos “” username
    • dostępne tylko na ubuntu i centos!
    • Pamiętajmy, żeby zabezpieczyć dostępem przez ssh.
  3. Tworzenie z uprawnieniami admina: usermod -aG sudo username
  4. Usuwanie użytkownika: deluser username
  5. Usuwanie wraz z usunięciem home directory: deluser –remove-home username
  6. Zmiana hasła:
    • swojego: passwd (trzeba tu podać obecne hasło a potem nowe)
    • innego użytkownika (jako root): passwd username (podajemy tylko nowe)

Nie uciekaj!!

I to tyle! Mam nadzieję, że notatka pomocna. Mi na pewno pomoże w przyszłości :D. Zapraszam Cię, zostań w naszej społeczności big datowej na dłużej.

Specjalnie dla Ciebie przygotowałem ebooka “Szlakiem Big Data”. Opisuję tam naszą branżę z wielu różnych stron. W sam raz dla początkujących.

A być może zaciekawi Cię podcast “Big Data Po Polsku”! Daj znać jak Ci się podoba;-)

Zapisz się na newsletter i bądźmy w kontakcie!

 

Loading
Najbardziej wpływowy wynalazek. Jak wyszukiwarka Google zmienia nasze życie? (Big Data Po Polsku) [Audio]

Najbardziej wpływowy wynalazek. Jak wyszukiwarka Google zmienia nasze życie? (Big Data Po Polsku) [Audio]

Jeśli (jak ja kiedyś) sądzisz, że wyszukiwarka internetowa to najnudniejszy temat na świecie – powinieneś/naś przesłuchać ten odcinek. Staram się udowodnić, że “to jedno okienko” wpłynęło na biznes, gospodarkę, nasz styl myślenia czy nawet… na podejście do systemu edukacji!

Nowy odcinek co drugą środę. Zostań na dłużej! Subskrybuj kanał na Spotify czy YouTube oraz zapisz się na newsletter (na dole strony)

Odcinek(3) – Jak wyszukiwarka Google zrewolucjonizowała nasze życie, biznes czy system edukacji?

Gdzie znajdziesz ten odcinek?

Podcast znajdziesz w kilku miejscach. Linki będą sukcesywnie dochodzić.

  1. Spotify
  2. YouTube
  3. Podbean
  4. Tutaj!
  5. Apple podcast (niebawem)
  6. Google Podcast (niebawem)

Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

 

Loading
Nowe podejście do inflacji dzięki danym (Big Data Po Polsku) [Audio]

Nowe podejście do inflacji dzięki danym (Big Data Po Polsku) [Audio]

Chociaż inflacja to temat ostatnio dość przykry – warto szukać systemowych pomysłów “jak to ugryźć”. Tak się składa, że dzięki danym jesteśmy w stanie podejść do wyliczania inflacji w sposób niezwykle nowatorski. W dzisiejszym odcinku podcastu “Big Data Po Polsku” o tym jak moglibyśmy to zrobić. I o tym, że U NAS, W POLSCE to nie musi być takie odległe.

Nowe odcinki w co drugą środę. Zostań na dłużej! Subskrybuj kanał oraz zapisz się na newsletter;-)

Odcinek(2) – jak wyliczać dokładną inflację dzięki Big Data?

Gdzie znajdziesz ten odcinek?

Podcast znajdziesz w kilku miejscach. Linki będą sukcesywnie dochodzić.

  1. Spotify
  2. YouTube
  3. Podbean
  4. Tutaj!
  5. Apple podcast (niebawem)
  6. Google Podcast (niebawem)

Przypominam jeszcze, jeśli nie jesteś członkiem newslettera, po zaciągnięciu się na nasz okręt dostajesz na wejściu prawie 140 stron ebooka o Big Data! Nie zwlekaj;-)

 

Loading