Tematika

• 1. gyakorlat: Bevezetés, követelmények, hadoop környezet beállítása, tesztelése; WordCount feladat megoldása
  • Prezentáció: gyak1.pdf
  • Hadoop link 1: http://oktnb16.inf.elte.hu/ggombos/bigdata/BigData.7z
  • Hadoop link 2: Google Drive
  • A hadoop beállítása a labor gépeken lett tesztelve, egyébként pedig Windows operációs rendszer ajánlott. GNU/Linux használata esetén a beállítás kicsit eltérő, kérés esetén segítek benne.
• 2. gyakorlat: WordCount feladat befejezése (reducer, combiner elkészítése). Feladatok: grep, wordmean
  • Prezentáció: gyak2.pdf
  • Hasznos kódok/infók: hadoop_informaciok.txt
  • WordCount feladat kódja: WordCount.zip
  • Grep feladat kódja: Grep.zip
• 3.gyakorlat: Hadoop feladatmegoldás: WordMean, MaxLength, Pí becslés; counter, cleanup, configuration
  • Prezentáció: gyak3.pdf
  • Hadoop beadandó: hadoop_beadando.pdf
  Input fájlok
  • kmer_input1.txt
  • kmer_input2.txt
  • kmer_input3.txt
• 4. gyakorlat: MaxTemp feladat (saját writable osztály létrehozása), setup, cleanup, beadandó
  • Wordmean feladat kódja: WordMean.zip
  • MaxLength1 feladat kódja: MaxLength1.zip
  • PiEstimation feladat kódja: PiEstimation.zip
  • MaxTemp adathalmaz: tempBudapestMeteoBlue.csv
  • MaxTemp feladat kódja: MaxTemp.zip
• 5. gyakorlat: Spark környezet kialakítása, alacsony-szintű API
  • Prezentáció: gyak5.pdf
  • Szükséges fájlok: SparkFiles.zip
  • Input fájl: alkotmany.txt
  • Órai munka: spark_orai1.html
• 6. gyakorlat: Spark alacsony-szintű API folytatás
  • Órai munka: spark_lowlevel2.html
• 7. gyakorlat: Spark strukturált API
  • Dolgozó adatok: dolgozo.csv
  • Osztály adatok: osztaly.csv
  • Repülés adatok: 2015-summary.csv
  • Eladási adatok: online_retail_data.csv
  • Órai munka: spark_structured_api.html
• 8. gyakorlat: Spark ZH
  • Menü adatok: menu.csv
  • Menü kategória adatok: menuCategory.csv
  • Eladási adatok: online_retail_data.csv
  • Vásárlói kosarak: vasarlasok.txt
  • Minta ZH: minta_zh.pdf
  • Minta ZH megoldások: minta_zh_megoldasok.txt
• 9. gyakorlat: Adatelemzés bevezetés: numpy, pandas, dataframe, matplotlib
  • Prezentáció gyak9_prezentacio.pdf
  • Pandas cheatsheet pandas_cheatsheet.pdf
  • Matplotlib cheatsheet matplotlib_cheatsheets.pdf
  • Pokémon adathalmaz Pokemon.csv
  • Órai munka: gyak9_orai.html
• 10. gyakorlat: Adattisztítás, adatok átalakítása, modell készítése
  • Pokémon adattisztításhoz Pokemon_cleaning.csv
  • Órai notebook: gyak10_knn.ipynb
• 11. gyakorlat: Osztályozási modellek: döntési van, SVM, Naive-Bayes; regresszió
  • Órai notebook: gyak11_osztalyozas.ipynb
• 12. gyakorlat: Klaszterezés
  • Pingvinek: pingvin.csv
  • Órai notebook: gyak12_klaszterezes.ipynb
  • Órai notebook HTML: gyak12_klaszterezes.html
  • Spotify dalok: spotify_songs.csv
  • Gyakorló feladatok: python_zh_gyakorlas.html
  • Gyakorló feladatok: python_zh_gyakorlas_megoldas.html
  • Gyakorló notebook: python_zh_gyakorlas.ipynb
• 13. gyakorlat: Adatelemzés ZH
  • 2-es csoport: december 14.
  • 3-as csoport: december 14.
  • 4-es csoport: december 15.