O meetup foi realizado no auditório da Gonow e contou com a presença de aproximadamente 50 pessoas. Mathias apresentou um whiteboard sobre MongoDB, respondendo diversas dúvidas dos participantes, como funciona a estrutura de documentos do MongoDB, como o banco de dados trabalha com alocação de memória, entre outras.

Em breve vou mandar uma mensagem para os participantes do evento pedindo sugestões para o próximo encontro, que poderá ser mais informal, acontecer em alguma pizzaria, ou tomando um ótimo chopp. Se você quer participar do próximo meetup, se inscreva em http://www.meetup.com/SP-MongoDB/ e deixe sua sugestão. Em breve, a Gonow publicará o vídeo e fotos no blog: http://www2.gonow.com.br/blog/. Se você perdeu, poderá assistir ao vídeo e entender como funciona um meetup, além de estar desde já, convidado a participar do próximo.

Participantes do primeiro encontro MUG-SP

Mathias apresentou um whiteboard sobre MongoDB, respondendo as dúvidas dos participantes

Se você quer saber mais dessas tecnologias, fique sabendo que nessa semana acontecem dois eventos importantes, um relacionado apenas a MongoDB e outro, o no:sql(br)/v2, que será destinado ao universo de tecnologias NoSQL, muito bom para quem ainda está querendo avaliar as opções antes de decidir para uma determinada tecnologia.

MongoDB Meetup

Se você ainda não se registrou, confirme sua presença agora em http://www.meetup.com/SP-MongoDB/

O evento será gratuito, acontecerá na sede da Gonow, na Vila Olímpia, em São Paulo. O objetivo é reunir usuários e pessoas interessadas em usar MongoDB, contará com a participação de Mathias Stern e Samantha Kosko, ambos da 10gen, empresa de Nova York que mantém o MongoDB.

Onde: Na Gonow, Rua Tenerife, 31, 3a
Quando: 20/10/2011
Preço: Grátis
Site: http://www.meetup.com/SP-MongoDB/

no:sql(br)/v2

Trata-se do maior evento sobre tecnologias NoSQL. Organizado pelo Porcelli, o evento contará com palestrantes de peso do universo NoSQL. Indispensável para quem deseja obter mais informações sobre essas tecnologias. No site do evento, disponível em http://nosqlbr.com/ é possível obter a agenda completa dos dois dias do evento.

Onde: Hotel Braston, Rua Martins Fontes, 330
Quando: Dias 21/10/2011 e 22/10/2011
Preço: R$ 200,00
Site:  http://nosqlbr.com/

Participem e divulguem esses grandes eventos!

A grade do evento está muito boa, palestras abordando uma variedade enorme de temas para todos os níveis de conhecimento. Algumas pessoas me perguntaram se as palestras são muito avançadas, se é possível alguém iniciante ter bom aproveitamento do evento. A resposta é sim! Tem palestras para todos os níveis, se você está querendo aprender Python, essa é sua grande oportunidade. Se você já conhece e quer melhorar suas técnicas, também é o evento ideal. Para desenvolvedores experientes, também. Cada palestra tem sua classificação, se é iniciante, intermediária ou avançada, basta escolher de acordo com seu nível de conhecimento e interesse pelo tema.

Sem contar na oportunidade de conversar com quem utiliza Python profissionalmente, fazer networking e até gerar negócios. Portanto, se você tem interesse em Python, participe do evento, caso contrário, só terá outra oportunidade como esta no ano que vem.

Eu vou apresentar a palestra Django e MongoDB no sábado, dia 01, às 14h. Essa palestra tem um conteúdo mais avançado, vou falar um pouco da minha aventura em desenvolver projetos com Django utilizando um banco de dados não relacional, no caso, o MongoDB.

Espero encontrá-lo no evento! Até lá!

Mais informações: http://www.pythonbrasil.org.br/2011/

MongoDB

Sem contar que a 10gen, empresa que desenvolveu o MongoDB, apoia e participa ativamente da comunidade, envia seus principais líderes de desenvolvimento para palestrar e interagir com outros desenvolvedores.

É esse apoio da 10gen que motivou a criação do São Paulo MongoDB User Group (MUG-SP) o objetivo desse grupo  é convidar desenvolvedores, curiosos e interessados em utilizar MongoDB para encontros regulares (de forma bem descontraída, em locais variados como pizzarias, cervejarias, etc) para conversar sobre assunto, trocar experiências e naturalmente fazer networking.

O pessoal da 10gen está apoiando e participando do grupo, que inicialmente ficará na Meetup. Já temos também o primeiro encontro organizado, será no dia 20 de Outubro e contará com a participação do engenheiro da 10gen Mathias Stearn, um dos responsáveis pelo núcleo do MongoDB. A criação do MUG-SP acontece exatamente um mês antes do primeiro encontro que antecede o no:sql(br)/v2,  nos dias 21 e 22 de outubro.

Como participar

Basta criar um perfil no Meetup, depois acessar a página do grupo em http://www.meetup.com/SP-MongoDB/ e clicar no Junte-se a nós. Se deseja participar do primeiro encontro do grupo, que contará com a presença do Mathias, será necessário responder ao RSVP, entitulado 1st MongoDB Sao Paulo Meeting. O local do encontro ainda não foi definido, vai depender da quantidade de participantes e o local será informado depois.

Fique a vontade para convidar outras pessoas e divulgar o grupo!

O grande diferencial desse módulo é permitir uma integração total e transparente do Django com o MongoDB, inclusive trabalhando no models da mesma forma que em um banco relacional. Além disso, o módulo também permite utilizar GridFS, Map Reduce, Agregadores e Atomic Updates em apps do Django, mantendo total compatibilidade com Admin, Sessões e Autenticação padrão do Django.

Como ainda não existe uma solução oficial para trabalhar com NoSQL no Django, esse módulo — até agora — é o mais completo e parece bastante estável. Ainda não instalei em aplicações em produção, mas ao realizar testes em laboratório, o módulo promete ter um grande potencial.

Instalação

A recomendação inicial é utilizar virtualenv, pelo fato do módulo ser recente e estar em constante desenvolvimento. É necessário instalar algumas dependências, como Django-Nonrel e Djangotoolbox. Fiz a instalação seguindo o próprio manual do módulo, que sugere pegar esses módulos diretamente de seus repositórios, mas acredito que também funciona utilizando o pip install.

Com o ambiente virtualenv já criado e o Django já instalado, o primeiro passo é instalar o Django-Nonrel direto do repositório Mercurial:

$ hg clone http://bitbucket.org/wkornewald/django-nonrel
$ cd django-nonrel && python setup.py install

Depois, instalamos o módulo Djangotoolbox:

$ hg clone http://bitbucket.org/wkornewald/djangotoolbox
$ cd djangotoolbox && python setup.py install

E por último, vamos instalar o módulo Django MongoDB Engine, esse último, buscando do repositório Git:

$ git clone https://github.com/django-mongodb-engine/mongodb-engine
$ cd mongodb-engine && python setup.py install

Alterações no settings.py

Depois de instalar os módulos acima, basta alterar o backend no settings.py para trabalhar com o MongoDB. O meu ficou da seguinte forma:

DATABASES = {
    'default': {
        'ENGINE': 'django_mongodb_engine',
        'NAME': 'testedjango',
    }
}

Depois disso é só trabalhar normalmente! No caso acima, a base de dados será a “testedjango”, os parâmetros de host, user, password são opcionais.
Em um teste simples, após seguir todos os procedimentos acima, rode um syncdb e depois entre no shell do Mongo. Poderá notar que o banco “testedjango” foi criado e as collections básicas para trabalhar com Django.
Vou realizar testes mais pesados com o módulo e publicarei posts mais completos a respeito.

Para maiores informações, o site oficial do projeto é http://django-mongodb.org/

Pelos feedbacks no Twitter e comentários que foram ouvidos no corredor, os participantes gostaram e aprovaram o evento, foi um grande aprendizado para quem participou e naturalmente muitos contatos foram feitos durante esse dia.

O evento contou com 3 participantes internacionais: Greg e Mathis da 10gen, ambos exploraram profundamente o funcionamento do MongoDB e apresentaram informações essenciais para quem já trabalha ou pensa em adotar o banco. O Cesar Rodas, developer PHP do Paraguai também participou com uma ótima palestra entitulada: “The Good, the bad and the ugly”. Entre os participantes brasileiros, o Eduardo Maçan do Apontador/Maplink falando de geospatial index, Gustavo Niemeyer da Canonical com sua palestra sobre MGO (driver para Go Language), Franklin Amorin da Globo.com contando sua experiência, além da minha palestra sobre Python com MongoDB.

As conversas de corredor que acontecem durante os intervalos também enriquecem qualquer evento, muita experiência foi compartilhada e networking foi ampliado.

Eu fiquei surpreso com a rápida adoção do MongoDB. Muitos dos participantes já o utilizam em projetos — alguns de larga escala — e muita gente já tem um projeto sendo desenvolvido com MongoDB. A poucos anos atrás, falar de NoSQL era assunto para poucas pessoas.

Vou continuar o assunto em João Pessoa, levando um pouco de NoSQL para o Ensol. Resolvi aproveitar esses minutos na sala de embarque do aeroporto para escrever esse texto, não terei tempo de fazer uma revisão, então peço desculpas por qualquer falha no texto.

Tem muita gente me perguntando sobre os vídeos e fotos, para quem não pode ir, recomendo visitar o blog da Gonow nos próximos dias. Todos os vídeos e fotos serão publicadas lá: http://www.gonow.com.br/blog

Adotei MongoDB a pelo menos 2 anos e já escrevi diversos posts nesse blog sobre o assunto. Essa tecnologia me ajudou a criar projetos inovadores, com escalabilidade e performance. Entre todos os bancos NoSQL, o MongoDB foi o que mais me chamou a atenção, pela facilidade de uso, performance, segurança, escalabilidade e por ter uma empresa desenvolvendo o projeto com foco em software livre e comunidade, sendo que a licença do MongoDB é GPL.

Durante o evento, que acontecerá no dia 22 de Julho, no Hotel Braston, na rua Martins Fontes, 330, Consolação – São Paulo, SP, vamos discutir como o MongoDB pode ser usado na prática, além de apresentar casos de uso de empresas brasileiras. Alguns desenvolvedores da 10Gen, de New York, estarão presentes e também vão palestrar, ou seja, se você quer conhecer MongoDB e conversar com desenvolvedores oficiais do projeto, a oportunidade é essa.

Para inscrição e maiores informações, visite o site do MongoSP ou deixe um comentário nesse post.

Site de cadastro: http://www.mongosp.com/

Confira a programação do evento:

9:30 Bem vindo ao Mongo São Paulo!
Greg Studer, Mathias Stearn e Christiano Anderson

---------------------------------------------------------

9:30 - 10:15 Schema Design com MongoDB
Greg Studer, 10gen

---------------------------------------------------------

10:15 - 11:00 Geospatial Indexing com MongoDB
Eduardo Macan, Apontador

---------------------------------------------------------

11:00 - 11:15 Coffee Break

---------------------------------------------------------

11:15 - 12:00 The Good, the Bad and the Ugly
Cesar Rodas

---------------------------------------------------------

12:00 - 12:30 mgo - The Go language driver
Gustavo Niemeyer

---------------------------------------------------------

12:30 - 13:45 Almoço

---------------------------------------------------------

13:45 - 14:30 Scaling with MongoDB: Sharding & Replica Sets
Mathias Stearn, 10gen

---------------------------------------------------------

14:30 - 15:15 Python e mongoDB
Christiano Anderson, Gonow

---------------------------------------------------------

15:15 - 15:30 Coffee Break

---------------------------------------------------------

15:30 - 16:00 MongoDB at Globo.com
Camila Dias and Franklin Amorin, Database Coordinators, Globo.com

---------------------------------------------------------

16:00 - 16:45 MongoDB Internals
Mathias Stearn, 10gen

---------------------------------------------------------

16:45 - 17:00 MongoDB Roadmap / Q & A
Greg Studer, 10gen

---------------------------------------------------------

17:00 - em diante: Happy Hour !

Estou em fase final de entrega de um projeto que utiliza uma base enorme em MongoDB, são mais de 10 milhões de registros e diversos índices. Exportei essa base para meu notebook (32 bits, rodando Ubuntu) e consegui importar no MongoDB sem nenhum problema, inclusive continuei meu desenvolvimento utilizando o notebook nos períodos que ficava fora do escritório. Semanas atrás, escrevi o artigo MongoDB para iniciantes, com diversas dicas para quem está começando a trabalhar com bancos não relacionais.

Mesmo sabendo da limitação do MongoDB em sistemas 32bits, a base de 10 milhões de registros estava funcionando bem no meu notebook 32bits, até que hoje veio a grande surpresa: a aplicação parou de funcionar. Fui investigar e constatei o seguinte erro no shell do MongoDB:

Fri Jan 28 18:43:33 uncaught exception: assert failed : listDatabases failed:{

"errmsg" : "exception: can't map file memory - mongo requires 64 bit

build for larger datasets",

"code" : 10084,

"ok" : 0

}

Ou seja, a base de dados estourou o limite e deixou de funcionar em máquinas 32bits e ironicamente, escrevi um artigo sobre isso dias atrás, mas não imaginava cair nesse problema tão cedo.

Por sorte meu notebook é apenas um ambiente de desenvolvimento. Imediatamente fui verificar os servidores da empresa, a grande maioria (pelo menos todos que rodam MongoDB) já são 64bits, o que me deixou despreocupado.

A solução para continuar trabalhando nessa base enorme no notebook foi reduzir um pouco a quantidade de informações, deixar apenas o necessário e assegurando que os arquivos em disco não ultrapassem 2.5Gb de tamanho. Assim é possível continuar rodando em 32bits sem nenhum problemas.

Se você está usando MongoDB e pretende importar um volume grande de dados e muitos índices, já instale em um servidor 64bits para evitar quebrar sua aplicação. Por sorte tive esse problema em um ambiente controlado de testes, mas se fosse em produção, teria uma boa dor de cabeça para migrar rapidamente a aplicação.

Tenho recebido contato de outros desenvolvedores que estão iniciando seus trabalhos com MongoDB, solicitando dicas e orientações específicas para evitar erros em seu uso. Abaixo algumas dicas importantes para quem está iniciando e quer assegurar o máximo de performance e segurança:

Utilize um servidor 64bits

O MongoDB funciona bem em 32bits, mas tem um limite de 2.5GB para dados armazenados. Para a maioria das pessoas, é um limite considerável e poderá não ser ultrapassado. Mas se está trabalhando em alguma aplicação grande, considere iniciar seus trabalhos já em 64bits. Atualmente está muito fácil e barato comprar máquinas ou encontrar um datacenter que ofereça (mesmo que em VPS) servidores em 64bits, assim você evita problemas e necessidade de reinstalar toda sua aplicação futuramente.

Faça replicação dos dados

Configurar um slave com MongoDB é muito simples e uma ação altamente recomendada. Se acontecer algum problema no servidor principal, a base pode ser corrompida. Embora o MongoDB ofereça várias ferramentas para correção da base, outras para fazer dump ou restore, ter uma réplica do MongoDB em outro servidor é essencial para aplicações em missão crítica e reduzir possível downtime de sua aplicação. As técnicas mais avançadas, como sharding não são complicadas para configurar e muitas vezes você não precisa mudar nada em sua aplicação.

Monitore e faça backups constantes

Isso nem precisa ser explicado, é tarefa obrigatória de quem mantém serviços em produção. O MongoDB possui ferramentas que auxiliam a monitoração do banco, uso de recursos e demais informações. Além de acompanhar sempre o uso de recursos do sistema operacional (uso de disco, memória, processamento), analise com frequência a saúde do banco de dados. E também, backups, são indispensáveis.

Segurança

Por padrão, o MongoDB aceita conexões sem necessidade de autenticação, mas isso pode ser configurado para melhorar e aumentar a segurança de acesso ao banco. Outra coisa importante é verificar se a porta 27017 (padrão) está ativa em todas as interfaces. É importante certificar que esta porta esteja fechada para o mundo e aberta somente para sua rede confiável. Utilize um firewall ou siga recomendações de segurança e autenticação do MongoDB. Os pacotes do Debian e Ubuntu oferecidos pela 10Gen já configuram a conexão para 127.0.0.1, evitando assim ouvir todas as interfaces.

Essas são algumas dicas que todo o iniciante deve considerar. Esse post foi inspirado no MongoDB gotchas for the unaware user, com algumas adaptações feitas por mim, considerando os pontos que julgo mais importantes.

Na dúvida, consulte sempre a documentação oficial e os vídeos e apresentações disponibilizadas pela 10Gen.

Com um banco de dados orientado a documentos, não existe a necessidade de criar o modelo das tabelas, basta definir um documento (estilo JSON) e inserir na base. Esses documentos podem ter campos a mais ou a menos dependendo da necessidade e tudo pode ser indexado e encontrado facilmente.

Estou trabalhando em um projeto onde é necessário indexar uma grande quantidade de informações e documentos. O problema é que muitos documentos não seguem um padrão e existe a necessidade de estar alimentando a base a todo instante com novas informações. Já desenvolvi modelos de busca neste estilo utilizando o Xapian, que é uma excelente ferramenta. Porém a performance fica bastante prejudicada quando a base é atualizada várias vezes ao dia, pois o Xapian mantém muito bem sua performance quando sua base (Quartz) está com os índices devidamente criados e compactados. Ficar atualizando esses índices o tempo todo prejudica a aplicação.

Fiz um teste importando todos esse volume de informações em uma base do MongoDB. Fiquei surpreso pela rapidez em importar os dados, cheguei a acreditar que tivesse acontecido algum problema durante a importação. Mas mexendo no banco, pude observar que tudo foi importado. Com algumas ferramentas desenvolvidas em Python, é possível alimentar a base a todo instante com novas informações e percebi que isso não atrapalha a performance das consultas. Mais um ponto a favor do MongoDB.

A aplicação frontend está sendo desenvolvida em Django, que não suporta oficialmente o MongoDB, mas utilizando módulos externos, é possível fazer o Django falar com MongoDB sem muita dificuldade. Cheguei a testar o MongoEngine e outras receitas (como nos posts integrating MongoDB and Django e Python, Django e MongoDB) mas para meu caso, foi mais fácil usar as ferramentas desenvolvidas internamente em Python para inserir e buscar valores da base.

De uma forma geral o MongoDB é uma ótima solução para armazenar e buscar um volume grande de documentos. Não posso dizer que é melhor ou pior que um banco de dados relacional, tudo depende do modelo de negócio, da aplicação e do que pretende fazer com as informações. Cada caso é um caso, seria muito injusto em dizer que vou substituir todas minhas aplicações de banco de dados relacional para o banco de dados orientado a documentos. Mas os testes serviram para mostrar não é apenas um hype, os bancos orientados a documentos podem ser uma ótima solução para casos mais complexos, que não dependem apenas de um simples CRUD.

De bônus, vale a leitura do post Choosing a non-relational database; why we migrated from MySQL to MongoDB, estou totalmente de acordo com as opiniões do autor e passei por situações bem parecidas.

Nos próximos dias publicarei mais informações sobre MongoDB e um pequeno tutorial. Se desejar ser informado, aproveite para assinar o conteúdo desse blog, basta inserir seu e-mail no campo logo abaixo deste post (e-mails só serão enviados quando existir atualização de conteúdo do blog).