Sunday, April 27, 2014

Tutorial: Utilizando o Hadoop com o Eclipse no Ubuntu 14.04

Passo-a-passo:
  1. Instale a JDK com o seguinte comando no terminal:
    sudo apt-get install openjdk-7-jdk
  2. Baixar o Hadoop de http://ftp.unicamp.br/pub/apache/hadoop/common/current/hadoop-2.4.0.tar.gz
  3. Extraia para a pasta home
  4. Edite o arquivo ~/.bashrc e adicione as seguintes linhas ao início do arquivo:
    (edite a linha se o caminho do Hadoop for diferente)
    export PATH=$PATH:/home/seu-nome-de-usuario/hadoop-2.4.0/bin/
    export JAVA_HOME=/usr/lib/jvm/default-java/
  5. Faça logout, e depois faça login novamente
  6. O Hadoop está pronto para uso!
Usando com o Eclipse:
JARs que necessitam ser adicionadas a um projeto MR no Eclipse
  1. Crie um novo Projeto Java;
  2. Entre nas propriedades do novo projeto criado;
  3. Na seção "Java Build Path", na aba "Libraries", clique em "Add external JARs..." e adicione os JARs. Para usar o MapReduce por exemplo, veja a figura acima. Todos estão na pasta do hadoop, em share/hadoop/*
  4. Nem todos of JARs são úteis ou relevantes ao seu projeto, mas não faz mal adicionar todos se quiser;
  5. Pode começar a programar. A compilação ocorre automaticamente e a saída é na pasta bin/ da raiz do projeto. 
Para executar seu projeto, vá até a pasta dele através do terminal e execute:
HADOOP_CLASSPATH=bin hadoop [caminho.para.a.classe.Main] [entrada] [saída] 
Exemplo:
HADOOP_CLASSPATH=bin hadoop org.camargo.hadoop.wc.WcMain ./data/teste.txt ./out

Aviso: é necessário apagar a pasta de saída entre as execuções, o Hadoop geralmente se recusa a escrever para uma pasta existente.

Saturday, April 19, 2014

Download: Raspbian Wheezy com Qt 5.2 (twolife.be)


Resolvi facilitar a vida de quem teria que passar pelos mesmos perrengues que eu, e disponibilizar uma imagem do Raspbian com os pacotes do repositório twolife.be. Sobre essa imagem:
  • Pode caber em um cartão SD de 2GB! (exige um retrabalho da tabela de partições da imagem padrão do Raspbian)
  • Deve ser descompactada antes de ser utilizada (formato lzma);
  • Não inclui a partição de boot. Você deve sobrescrever a partição de raiz (segunda partição) de um SD válido do Raspbian com esse sistema de arquivos ext4.
  • Repito: NÃO é uma imagem de disco, é uma imagem de sistema de arquivo.
  • Só possui o usuário root, a senha é "pi";
  • Algumas coisas foram removidas, como por exemplo, o lxde e interface gráfica, arquivos de documentação, o swapfile foi praticamente removido (8MB), etc; Depois de expandir o fs em uma partição maior, você pode reinstalar tudo de novo via apt-get;
  • Inclui um exemplo para testar o Qt5, na pasta /root;
  • Não se esqueça de utilizar o resize2fs ou o raspi-config depois de copiar o sistema de arquivos, para aproveitar ao máximo o espaço disponível no SD.
Não é complicado usar essa imagem, se você souber o que está fazendo. Se alguém pedir, faço um tutorialzinho ;)


Boa programação!