Jesteś inżynierem Big Data?

Jeśli jesteś ekspertem i szukasz przede wszystkim tematów technicznych – zacznij tutaj. Tworzymy to miejsce, by każdego dnia stawać się lepszymi. Zderzamy się z problemami, analizujemy, rozwiązujemy. Razem tworzymy społeczność ludzi zaangażowanych w branżę.

W naszym podejściu na Big Data/AI można przeczytać, że staramy się patrzeć szerzej. Podchodzimy do sprawy odpowiedzialnie, szukamy możliwie sensownych rozwiązań, które wprowadzają realną wartość. Nie oznacza to jednak, że technikalia są dla nas “wątkiem pobocznym”. Wręcz przeciwnie – jesteśmy pasjonatami branżowymi. Staramy się w każdy możliwy sposób stawać się coraz lepszymi z każdym dniem.

Rozgość się – poniżej znajdziesz artykuły techniczne. Have fun!;-).


Jak nauczyć się Apache Solr? Krok po kroku [Mapa drogowa]

Apache Solr to technologia fulltext search. Jedna z dwóch dominujących (obok Elasticsearch), dzięki którym zbudujemy zaawansowane wyszukiwarki. Niestety, w internecie niewiele jest miejsc, z których można się uczyć. Jednak warto! Solr to nietypowa technologia, bardzo ciekawa, a przy jej pomocy można zbudować wspaniałe rzeczy. W dzisiejszym artykule chciałbym Ci przedstawić plan na to co zrobić, […]

Posted in Techniczne | Tagged , , , , , , | Leave a comment

Spark: czemu jedna akcja tworzy wiele jobów?

Zgłębiając kwestie wydajnościowe zauważyłem, że dzieje się coś dziwnego: jedna akcja generuje wiele jobów. Postanowiłem to sprawdzić i opisać tutaj:-). Śmiało, częstuj się. A jeśli artykuł okaże się przydatny – podziel się nim na LinkedIn… czy gdziekolwiek chcesz. Kawka w dłoń i ruszamy! Podstawy – jak działa aplikacja sparkowa? Bardzo często mówiąc o tym, że […]

Posted in Techniczne | Tagged , , , , , , | Leave a comment

Jak oczyścić dane w sparku? Castowanie, funkcje, nulle, regexpy itd. [wideo]

Dziś kontynuujemy temat pierwszego kontaktu z danymi. W wideo opowiadam nieco o rzutowaniu (cast), funkcjach jak split, regexpach czy walce z nullami. Oczywiście wszystko z wykorzystaniem Apache Spark. Zapraszam! A! Ważna informacja… tylko do końca stycznia można zakupić kurs “Fundament Apache Spark”. Nie zwlekaj z poznaniem jednej z najważniejszych technologii w branży. Podstawowy problem, czyli… […]

Posted in Techniczne | Tagged , , , , , | Leave a comment

Jak załadować dane do Apache Spark? [Wideo]

Po przerwie wracam z… poradnikami! Do końca stycznia zajmujemy się jeszcze Apache Spark, bo i do końca stycznia można zakupić kurs “Fundament Apache Spark”. Dzisiaj zajmiemy się takimi tematami jak: Zapoznawanie się z danymi Ładowanie danych do Sparka z csv Wstępna obróbka danych i łączenie różnych źródeł w jeden dataset A to wszystko na danych […]

Posted in Techniczne | Tagged , , , , , , , | Leave a comment

Apache Spark – Jak ŁATWO i PRZYJEMNIE zacząć programować? [wideo] [jesień]

Jak zacząć naukę z Apache Spark? W dzisiejszy wideo nurkujemy w kod. Pokazuję od A do Z jak pracować z danymi na bardzo, bardzo prostym przykładzie. Zobaczysz jak stworzyć ultra prostą aplikację sparkową oraz jak na bazie prawdziwego datasetu policzyć średnie ceny pizzy w amerykańskich sieciówkach. Jak zacząć z Apache Spark? Przy okazji: niedługo opublikuję […]

Posted in Techniczne | Tagged , , , , , | Leave a comment

Co to jest Spark? Dla kompletnie zielonych. [wideo] [jesień]

Co to jest Apache Spark? Po co go używamy? Jak on działa? O tym wszystkim w nowym wideo z serii jesiennej! Przy okazji: niedługo opublikuję kurs online ze Sparka. Zapisz się tutaj na specjalny newsletter, nie przegap okienka w którym kurs się ukaże. I otrzymaj oczywiście zniżkę;-) Co to jest Apache Spark? Wideo dla początkujących […]

Posted in Techniczne | Tagged , , , , | Leave a comment

Hadoop i kod (Java API). Krótki poradnik od 0 [wideo] [jesień]

Czas na ostatnie wideo na temat Hadoopa. Pokazuję w nim jak operować na plikach HDFS, wykorzystując Javę. Zapraszam serdecznie! HDFS i Java API – samo mięso Ankieta o której mówię jest dostępna pod tym linkiem. Tutaj pobierzesz maszynę wirtualną, która będzie pomocna przy ćwiczeniach Hadoopa. Zachęcam do subskrypcji kanału na YouTube! Dzięki temu nie przegapisz […]

Posted in Techniczne | Tagged , , , , , , , , , | Leave a comment

HDFS w praktyce – poradnik DLA POCZĄTKUJĄCYCH (HDFS Shell i budowa) [wideo] [jesień]

W poprzednim wideo poznaliśmy to czym jest Hadoop. Dzisiaj pociągniemy temat, ale już dużo bardziej praktycznie. Zależało mi bardzo na tym, żeby pokazać jak ta praktyka ma się do rzeczywistości. Pokazałem więc między innymi jak architektura którą omawiałem w poprzednim wideo, ma się do mojego klastra z którego korzystam na co dzień. Przede wszystkim jednak […]

Posted in Techniczne | Tagged , , , , | Leave a comment

Co to jest (i jak działa) Hadoop? DLA KOMPLETNIE ZIELONYCH [Wideo] [jesień]

Niedawno zacząłem nową serię – serię jesienną, gdzie zgłębiamy podstawy technologii Big Data. Będziemy kroczek po kroczku poznawać absolutne podstawy. Celem jest “zahaczka” dla każdego, kto chce ruszyć z tematem, ale nie ma pomysłu jak to zrobić:-). W pierwszym wideo odpowiadałem na pytanie “co to jest Big Data?” – obejrzysz pod tym linkiem. Co to jest […]

Posted in Techniczne | Tagged , , , , , | Leave a comment

Użytkownicy, grupy, uprawnienia – Linux na skróty. [Notatka techniczna #1]

Być może to absurdalne, ale co jakiś czas muszę sobie przypominać naprawdę podstawowe rzeczy. Takie, do których aż głupio się przyznać. Z jednej strony z pewnością nie jest to powód do dumy i należy nad tym pracować. Z drugiej – pozwala mi to nabrać odpowiedniej pokory. I przydaje się ona szczególnie podczas szkoleń, gdy widzę […]

Posted in Techniczne | Tagged , , , , , | Leave a comment