Introducao-PySpark.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# <font color='blue'>Big Data Real-Time Analytics com Python e Spark</font>\n",
    "\n",
    "# <font color='blue'>Capítulo 7</font>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### *********** Atenção: *********** \n",
    "Utilize Java JDK 11 e Apache Spark 2.4.2"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*Caso receba mensagem de erro \"name 'sc' is not defined\", interrompa o pyspark e apague o diretório metastore_db no mesmo diretório onde está este Jupyter notebook*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Introdução ao PySpark"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "3.7.6 (default, Jan  8 2020, 20:23:39) [MSC v.1916 64 bit (AMD64)]\n"
     ]
    }
   ],
   "source": [
    "import sys\n",
    "print(sys.version)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<SparkContext master=local[*] appName=PySparkShell>\n"
     ]
    }
   ],
   "source": [
    "print(sc) # Sparkcontext - para que possamos manipular dados com spark é necessário abrir um CONTEXTO LOCAL"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2.4.2\n"
     ]
    }
   ],
   "source": [
    "print(sc.version) # Versão do CONTEXTO"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Testando o Spark e criando uma RDD\n",
    "lst = [25, 90, 81, 37, 776, 3320] # Criando uma lista de valores numéricos\n",
    "testData = sc.parallelize(lst)    # Paralelizar a lista dentro do contexto passando a lista"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "?sc.parallelize\n",
    "# Distribui uma coleção|lista local Python e converte isso para uma RDD - coleção de elementos\n",
    "# Apache Spark foi construido para trabalhar de maneira distribuida para usar o poder de clusters"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pyspark.rdd.RDD"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(testData)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "6"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "testData.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[25, 90, 81, 37, 776, 3320]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "testData.collect()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Executando PySpark - Processando Grandes Volumes"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "RDD's são coleções distribuídas de itens. **RDD's podem ser criadas a partir do Hadoop (arquivos no HDFS)**, através da transformação de outras RDD's, a partir de bancos de dados (relacionais e não-relacionais) ou a partir de arquivos locais."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Criando uma RDD a partir de um arquivo csv\n",
    "sentimentoRDD = sc.textFile(\"data/sentimentos.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pyspark.rdd.RDD"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(sentimentoRDD)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "100"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Ação - Contando o número de registros nessa RDD\n",
    "sentimentoRDD.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['positivo,Esse livro é incrível.',\n",
       " 'positivo,Um dos melhores livros que eu já li.',\n",
       " 'positivo,um dos melhores livros que eu já li',\n",
       " 'positivo,Acho que ele tem um conteúdo que vai além do que está em sua descrição.',\n",
       " 'positivo,O Sol é para todos é profundo e emocionante',\n",
       " 'positivo,Me encantei por este livro',\n",
       " 'positivo,Este livro, apesar de antigo e com uma história que trata de uma época mais antiga ainda, possui um conteúdo atual e de extrema importância.',\n",
       " 'positivo,The Da Vinci Code is actually a good movie...',\n",
       " 'positivo,I thought the Da Vinci Code was a pretty good book.',\n",
       " 'positivo,Um livro que realmente deveria ser lido por todas as pessoas.']"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Listando os 5 primeiros registros \"head\"\n",
    "sentimentoRDD.take(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## A expressão lambda cria uma função anônima\n",
    "\n",
    "### Função em Tempo de Execução dentro de um contexto específico"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['POSITIVO,ESSE LIVRO É INCRÍVEL.',\n",
       " 'POSITIVO,UM DOS MELHORES LIVROS QUE EU JÁ LI.',\n",
       " 'POSITIVO,UM DOS MELHORES LIVROS QUE EU JÁ LI',\n",
       " 'POSITIVO,ACHO QUE ELE TEM UM CONTEÚDO QUE VAI ALÉM DO QUE ESTÁ EM SUA DESCRIÇÃO.',\n",
       " 'POSITIVO,O SOL É PARA TODOS É PROFUNDO E EMOCIONANTE']"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Transformando os dados em outra RDD - transformação para letras maiúsculas\n",
    "transfRDD = sentimentoRDD.map(lambda x : x.upper())\n",
    "transfRDD.take(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['positivo,Esse livro é incrível.',\n",
       " 'positivo,Um dos melhores livros que eu já li.',\n",
       " 'positivo,um dos melhores livros que eu já li',\n",
       " 'positivo,Acho que ele tem um conteúdo que vai além do que está em sua descrição.',\n",
       " 'positivo,O Sol é para todos é profundo e emocionante']"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentimentoRDD.take(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "arquivo = sc.textFile(\"data/sentimentos.csv\")\n",
    "# carregando novamente o mesmo arquivo"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pyspark.rdd.RDD"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(arquivo)\n",
    "# gravando no objeto arquivo "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "100"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "arquivo.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'positivo,Esse livro é incrível.'"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "arquivo.first()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Manipulação de Dados"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "linhasComSol = arquivo.filter(lambda line: \"Sol\" in line)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pyspark.rdd.PipelinedRDD"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(linhasComSol)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "linhasComSol.count()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## map() determina o comprimento de cada linha > RDD"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### O poder de Python e Spark juntos. O spark oferece o RDD e as funções de mapeamento e redução.  Python com a expressão lambda para poder buscar so padrões necessarios.  Primerio determina a  divisão das linhas e depois aplicar uma técnica de redução"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Primeiro a função map() determina o comprimento de cada linha do arquivo, criando uma RDD.\n",
    "\n",
    "A função reduce() é chamada para encontrar a linha com maior número de caracteres. O argumento para as funções map() e reduce() são funções anônimas criadas com lambda (da linguagem Python).\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Função Anônima"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "27"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "arquivo.map(lambda line: len(line.split())).reduce(lambda a, b: a if (a > b) else b)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Função Nomeada"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Esta linha pode ser reescrita da seguinte forma:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "27"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def max(a, b):\n",
    "    if a > b:\n",
    "        return a\n",
    "    else:\n",
    "        return b\n",
    "\n",
    "arquivo.map(lambda line: len(line.split())).reduce(max)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Operação de MapReduce"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As operações de MapReduce foram popularizadas pelo Hadoop e podem ser feitas com Spark até 100x mais rápido."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "contaPalavras = arquivo.flatMap(lambda line: line.split()).map(lambda palavra: (palavra, 1)).reduceByKey(lambda a, b: a+b)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('livro', 5),\n",
       " ('que', 13),\n",
       " ('li.', 4),\n",
       " ('positivo,um', 3),\n",
       " ('li', 1),\n",
       " ('positivo,Acho', 1),\n",
       " ('tem', 1),\n",
       " ('um', 3),\n",
       " ('vai', 1),\n",
       " ('do', 2),\n",
       " ('em', 1),\n",
       " ('descrição.', 1),\n",
       " ('positivo,O', 2),\n",
       " ('para', 5),\n",
       " ('todos', 4),\n",
       " ('positivo,Me', 1),\n",
       " ('este', 1),\n",
       " ('livro,', 1),\n",
       " ('antigo', 1),\n",
       " ('uma', 4),\n",
       " ('história', 1),\n",
       " ('antiga', 1),\n",
       " ('positivo,The', 6),\n",
       " ('Da', 38),\n",
       " ('Vinci', 45),\n",
       " ('Code', 24),\n",
       " ('is', 17),\n",
       " ('good', 3),\n",
       " ('movie...', 1),\n",
       " ('thought', 2),\n",
       " ('was', 4),\n",
       " ('pretty', 1),\n",
       " ('book.', 4),\n",
       " ('realmente', 1),\n",
       " ('deveria', 1),\n",
       " ('todas', 1),\n",
       " ('as', 1),\n",
       " ('pessoas.', 1),\n",
       " ('an', 6),\n",
       " ('*', 2),\n",
       " ('book', 2),\n",
       " ('turn', 1),\n",
       " ('positivo,Harper', 1),\n",
       " ('aborda', 1),\n",
       " ('muito', 3),\n",
       " ('polêmicos,', 1),\n",
       " ('como', 1),\n",
       " ('Bullying,', 1),\n",
       " ('olhos', 1),\n",
       " ('inocentes', 1),\n",
       " ('positivo,i', 4),\n",
       " ('love', 6),\n",
       " ('da', 13),\n",
       " ('code....', 1),\n",
       " ('loved', 5),\n",
       " ('code..', 2),\n",
       " ('VINCI', 4),\n",
       " ('BEAUTIFUL', 1),\n",
       " ('positivo,THE', 1),\n",
       " ('slash', 1),\n",
       " ('race.', 1),\n",
       " ('positivo,Hey', 1),\n",
       " ('The', 13),\n",
       " ('Code!..', 1),\n",
       " ('positivo,also', 1),\n",
       " ('sobre', 2),\n",
       " ('relação', 1),\n",
       " ('educação', 1),\n",
       " ('pais', 1),\n",
       " ('filhos,', 1),\n",
       " ('fala', 1),\n",
       " ('like', 3),\n",
       " ('Angels', 1),\n",
       " ('Demons', 1),\n",
       " ('more', 2),\n",
       " ('really', 5),\n",
       " ('positivo,Da', 4),\n",
       " ('s', 1),\n",
       " ('positivo,And', 1),\n",
       " ('we', 2),\n",
       " ('awesome.', 2),\n",
       " ('awesome', 6),\n",
       " ('book!', 2),\n",
       " ('positivo,oh', 1),\n",
       " ('code.', 3),\n",
       " ('ripping', 1),\n",
       " ('music', 1),\n",
       " ('cold...', 1),\n",
       " ('[', 1),\n",
       " ('tell', 1),\n",
       " ('anyone', 1),\n",
       " ('but', 3),\n",
       " ('of', 4),\n",
       " ('positivo,Os', 1),\n",
       " ('personagens', 1),\n",
       " ('positivo,omg', 1),\n",
       " ('i', 5),\n",
       " ('falar', 1),\n",
       " ('INCRÍVEL?', 1),\n",
       " ('O', 1),\n",
       " ('sol', 1),\n",
       " ('negativo,da', 2),\n",
       " ('terrible', 1),\n",
       " ('negativo,i', 2),\n",
       " ('movie', 1),\n",
       " ('think', 2),\n",
       " ('this', 2),\n",
       " ('bolsters', 1),\n",
       " ('arguments', 1),\n",
       " ('both', 1),\n",
       " ('know', 2),\n",
       " ('inaccurate.', 1),\n",
       " ('hate', 9),\n",
       " ('negativo,The', 4),\n",
       " ('say', 1),\n",
       " ('evil', 1),\n",
       " ('sucked', 4),\n",
       " ('long', 1),\n",
       " ('slow.....', 1),\n",
       " ('negativo,not', 1),\n",
       " ('sure', 1),\n",
       " ('already', 1),\n",
       " ('threw', 1),\n",
       " ('at', 2),\n",
       " ('negativo,This', 1),\n",
       " ('why', 1),\n",
       " ('Code:', 1),\n",
       " ('pop', 1),\n",
       " ('question', 1),\n",
       " ('congrats', 1),\n",
       " ('beating', 1),\n",
       " ('Jay', 1),\n",
       " ('must', 1),\n",
       " ('Rickards', 1),\n",
       " ('when', 1),\n",
       " ('beat', 1),\n",
       " ('them', 1),\n",
       " ('in', 1),\n",
       " ('balls', 1),\n",
       " ('worst', 1),\n",
       " ('shit', 1),\n",
       " (\"I've\", 1),\n",
       " ('ever', 1),\n",
       " ('God', 1),\n",
       " ('Has', 1),\n",
       " ('told', 1),\n",
       " ('nans', 1),\n",
       " ('before', 1),\n",
       " ('said', 1),\n",
       " (\"'!!\", 1),\n",
       " ('negativo,Sol', 1),\n",
       " ('ruim', 9),\n",
       " ('negativo,Livro', 9),\n",
       " ('negativo,the', 1),\n",
       " ('sucks', 1),\n",
       " ('negativo,\"poderia', 2),\n",
       " ('ter', 2),\n",
       " ('sido', 2),\n",
       " ('melhor\"', 2),\n",
       " ('raso', 1),\n",
       " ('negativo,well', 1),\n",
       " ('SUCKS!!', 1),\n",
       " ('ass', 1),\n",
       " (\"you're\", 1),\n",
       " ('code...', 1),\n",
       " ('esqueci', 1),\n",
       " ('negativo,todos', 1),\n",
       " ('disseram', 1),\n",
       " ('mas', 1),\n",
       " ('achei', 1),\n",
       " ('negativo,abaixo', 1),\n",
       " ('das', 1),\n",
       " ('expectativas', 1),\n",
       " ('negativo,muito', 1),\n",
       " ('gostei.', 1),\n",
       " ('infantil!', 1),\n",
       " ('positivo,Esse', 1),\n",
       " ('é', 6),\n",
       " ('incrível.', 1),\n",
       " ('positivo,Um', 3),\n",
       " ('dos', 5),\n",
       " ('melhores', 5),\n",
       " ('livros', 5),\n",
       " ('eu', 5),\n",
       " ('já', 5),\n",
       " ('ele', 1),\n",
       " ('conteúdo', 2),\n",
       " ('além', 1),\n",
       " ('está', 1),\n",
       " ('sua', 1),\n",
       " ('Sol', 2),\n",
       " ('profundo', 1),\n",
       " ('e', 8),\n",
       " ('emocionante', 1),\n",
       " ('encantei', 1),\n",
       " ('por', 2),\n",
       " ('positivo,Este', 1),\n",
       " ('apesar', 1),\n",
       " ('de', 8),\n",
       " ('com', 1),\n",
       " ('trata', 1),\n",
       " ('época', 1),\n",
       " ('mais', 1),\n",
       " ('ainda,', 1),\n",
       " ('possui', 1),\n",
       " ('atual', 1),\n",
       " ('extrema', 1),\n",
       " ('importância.', 1),\n",
       " ('actually', 1),\n",
       " ('a', 8),\n",
       " ('positivo,I', 8),\n",
       " ('the', 23),\n",
       " ('ser', 1),\n",
       " ('lido', 1),\n",
       " ('amazing', 2),\n",
       " ('positivo,then', 1),\n",
       " ('I', 7),\n",
       " ('on', 2),\n",
       " ('light', 1),\n",
       " ('and', 10),\n",
       " ('radio', 1),\n",
       " ('enjoy', 1),\n",
       " ('my', 2),\n",
       " ('Code.', 12),\n",
       " ('Lee', 1),\n",
       " ('temas', 1),\n",
       " ('o', 3),\n",
       " ('racismo', 1),\n",
       " ('pelos', 1),\n",
       " ('criança', 1),\n",
       " ('7', 1),\n",
       " ('anos.', 1),\n",
       " ('vinci', 17),\n",
       " ('positivo,TO', 1),\n",
       " ('NIGHT::', 1),\n",
       " ('THE', 2),\n",
       " ('DA', 4),\n",
       " ('CODE', 3),\n",
       " ('AND', 1),\n",
       " ('A', 1),\n",
       " ('MIND...', 1),\n",
       " ('AN', 1),\n",
       " ('AWESOME', 1),\n",
       " ('BOOK....', 1),\n",
       " ('positivo,very', 1),\n",
       " ('code', 12),\n",
       " ('positivo,Ele', 1),\n",
       " ('relata', 1),\n",
       " ('respeito,', 1),\n",
       " ('individualidade', 1),\n",
       " ('mais.', 1),\n",
       " ('then', 2),\n",
       " ('movie.', 2),\n",
       " ('amazing.', 1),\n",
       " ('positivo,Book', 1),\n",
       " ('(', 1),\n",
       " ('):', 1),\n",
       " ('Code..', 2),\n",
       " ('went', 1),\n",
       " ('to', 4),\n",
       " ('see', 1),\n",
       " ('awesome!', 1),\n",
       " ('SUCH', 1),\n",
       " ('LOVE', 1),\n",
       " ('CODE...', 1),\n",
       " ('so', 1),\n",
       " ('beautiful', 1),\n",
       " ('Code...', 2),\n",
       " ('miss', 1),\n",
       " ('acoustic', 1),\n",
       " ('positivo,looks', 1),\n",
       " ('amazingly', 1),\n",
       " ('fun', 1),\n",
       " ('possibly', 1),\n",
       " ('bit', 1),\n",
       " (\"don't\", 1),\n",
       " (']', 1),\n",
       " ('course', 1),\n",
       " ('positivo,\"I', 1),\n",
       " ('\"\"', 1),\n",
       " ('Code!\"', 1),\n",
       " ('LOVED', 1),\n",
       " ('positivo,da', 1),\n",
       " ('são', 1),\n",
       " ('maravilhosos...', 1),\n",
       " ('that', 3),\n",
       " ('such', 1),\n",
       " ('desde', 1),\n",
       " ('me', 2),\n",
       " ('conquistou', 1),\n",
       " ('forma', 1),\n",
       " ('pura!', 1),\n",
       " ('boring.', 1),\n",
       " ('negativo,Da', 4),\n",
       " ('does', 1),\n",
       " ('suck.', 2),\n",
       " ('negativo,I', 10),\n",
       " ('England', 1),\n",
       " ('sucks...', 2),\n",
       " ('negativo,And', 2),\n",
       " ('better..-We', 1),\n",
       " ('all', 1),\n",
       " ('bogus', 1),\n",
       " ('you', 3),\n",
       " ('too', 2),\n",
       " ('if', 2),\n",
       " ('because', 1),\n",
       " ('it', 2),\n",
       " ('takes', 1),\n",
       " ('nothing', 1),\n",
       " ('fucking', 2),\n",
       " ('culture', 1),\n",
       " ('phenomenon', 1),\n",
       " ('get', 1),\n",
       " ('people', 1),\n",
       " ('things.', 1),\n",
       " ('did', 1),\n",
       " ('suck', 1),\n",
       " ('been', 1),\n",
       " ('time', 1),\n",
       " ('finals.', 1),\n",
       " ('sucks.', 1),\n",
       " ('hated', 3),\n",
       " ('going', 1),\n",
       " ('sucks..', 1),\n",
       " ('also', 1),\n",
       " (\"it's\", 1),\n",
       " ('piece', 1),\n",
       " ('read.', 1),\n",
       " ('negativo,Thank', 1),\n",
       " ('Someone', 1),\n",
       " ('Sense', 1),\n",
       " ('negativo,RACHEL', 1),\n",
       " ('could', 1),\n",
       " ('your', 1),\n",
       " ('libarian', 1),\n",
       " (\"hated'The\", 1),\n",
       " ('Livro', 1),\n",
       " ('btw..', 1),\n",
       " ('negativo,simples', 1),\n",
       " ('negativo,O', 1),\n",
       " ('não', 2),\n",
       " ('todos.', 1),\n",
       " ('wondering.', 1),\n",
       " ('negativo,about', 1),\n",
       " ('how', 1),\n",
       " ('much', 1),\n",
       " ('absolutely', 1),\n",
       " ('loathe', 1),\n",
       " ('ruim...', 2),\n",
       " ('negativo,já', 1),\n",
       " ('tão', 1),\n",
       " ('foi.', 1),\n",
       " ('era', 1),\n",
       " ('bom,', 1),\n",
       " ('negativo,Não', 1)]"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "contaPalavras.collect()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Acessar o monitoramento do Spark em: http://localhost:4040/"
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}