Berlin, Germany - Wikimedia Chapters Meeting 2010

These have been busy days! At the same time the first Portuguese Wikipedia Academy was running I was supposed to be in Berlin to the 2010 Wikimedia Chapters Meeting. I actually got there, indeed, but we were in the air when the massive ash cloud from the Eyjafjallajökull glacier/vulcano spread above Central Europe, and we got stuck as soon as we landed in Frankfurt. But I won’t regret catching a 10h train to Berlin, arriving in the morning, except for missing the whole morning at the Meeting. The fellow mates around the world are just awesome people, and doing a great job, and they have just shown how excellent fellows they are to work with.

Here is the wrapup photo we took in the end (after 20min trying to position ourselfs according to the Mapa Mundi and.. well.. having given up :)):

Picking a train to Portugal was very risky as the French saw an excellent opportunity to put up a strike (I was told some frieds took 3 days from Netherlands to Portugal, so I’m glad we considered the odds)! While stranded, along with a lot of (mainly) intercontinental fellows, we spent the days getting to know Berlin and the famous Bratwurst. I won’t definitelly forget the trio I had near Charlottenburg, yummm..

Wikimedia Deutchland has proven to be an excellent hoster for such an event. Everything we handled smoothly, Don and Anjia were also great facilitators, being careful enough to document in detail each session.

A special remark to the strange title of this post, I think no one will forget the good laughs we gave around some expressions… like VulcanoCon… hrm hrm

Hugs to everyone I met, I hope you arrived safely (AFAIK, you *did* arrived…). Hope to see you all next year, or maybe at Wikimania.

Porto, Portugal - Wikipedia Academy

As we already confirmed in person in the last WMP General Assembly (GA), the First Wikipedia Academy was definitely a success. The media push was spectacular and, of course, it had to give some results. We got an increase of associates right there on the GA, with more people willing to help on the tasks. I thank all the participants all the input, it was really great, and I would also like to thank the opportunity of exposing everything we learned at the Chapters Conferece (above). We also discussed the plan for the upcoming year, now, more than ever, targetting specific goals from the list of ideas we have been summing up - I’ll be participating in a specific GLAM project (more on this later), I’ll be the IT lead, I’ll try to help Gil on a joint Communication project targetting Transportation companies, and I’ll be trying to push forward a possible UMIC partnership (more on this later).

Nota: Este post foi resgatado dos Drafts e é de 30-12-2009…

Este Natal tive tempo de fazer um catchup das notícias (aliás, já devem ter reparado eheh). Esta minha demora em escrever fica pautada por uma presença em Luanda, Angola, e por uns pesadíssimos comprimidos que tive que tomar (e tolerar!! mal ou bem..). Na foto abaixo deixo uma paisagem imensa, algures a meio da viagem, que se estendia para além da curva do horizonte, que foi a primeira sensação dual provocada por África: tão grande e tão… deserto.

Tive tempo também para um cinema: andava a criticar o facto da oferta não ser nada por aí além, mas fui ver o Avatar, versão em 3D, e…. bem… ainda estou a processar. Neste momento é o meu filme preferido, o que cataloga James Cameron como o melhor realizador, desta vez sem dúvida nenhuma!

Cruzei-me com o Mr. Stanley Jordan a interpretar Stairways to Heaven no pian… perdão, na guitarra! O melhor é mesmo ver

E agora umas mais antiguitas, que tinha para aqui guardadas.

Andava farto de ter que lançar 3 ou 4 ferramentas para fazer desenhos para a malta, e dei de caras com estas duas aplicações que talvez venham a simplificar-me/nos a vida: O Gliffy, que já parece integrar com o MediaWiki, e o yUML, que também integra. O caminho há-de ser algures por aí - ou então usar o Google Presentation?

Já uma vez me tinha questionado sobre a complexidade da nossa voz face à simplicidade de um tom/nota acústica, mas nada como isto: estes senhores conseguiram reproduzir voz usando um piano! Bom, e mais qualquer coisinha, é certo…

Noutra frente, e depois de já ter gasto alguns minutos (juro!) a reviver Quake Live, cruzei-me acidentalmente (juro, juro!) com um clássico que merece a atenção, especialmente por ser todo em DHTML/Javscript: o viciante Lemmings!

De volta aos sistemas, andei a experimentar o netconsole. Isto é giro, mas como não deu para usar o logger para escrever para o ring buffer (dmesg), tive que experimentar com um módulo de kernel dummy - e só subindo o nível, com KERN_ERR…!

As férias foram tão grandes que voltei a explorar alguns chapéus coloridos: dei de caras com o fwknop para port knocking, andei a fazer experiências com o ettercap, e li uns artigos giros onde sempre se aprendem mais uns programitas, como no artigo 20 Linux System Monitoring Tools Every SysAdmin Should Know.

O evento resulta de uma parceria entre a Faculdade de Engenharia da Universidade do Porto e a Associação Wikimédia Portugal, contando com o apoio da EXPONOR e da DRI.

O objectivo é sensibilizar e promover o uso da Wikipédia. O seminário decorrerá, entre as 9h30 e as 18 horas do dia 16 de Abril, na QUALIFICA e terá ligação por videoconferência à 2010 Wikimedia Conference, que decorrerá em Berlim, e onde estarei com a Susana a contribuir com a experiência portuguesa e, simultaneamente, a fazer as entrevistas.

Para além da palestra de Kul Takanao Wadhwa, Head of Business Development da Wikimedia Foundation, haverá espaço para o debate de temas como a qualidade e a fiabilidade da Wikipédia, o uso da Wikipédia nas aulas, a Wikipédia como instrumento de protecção e promoção de línguas minoritárias, a Wikipédia na investigação e ainda informação detalhada sobre edição de conteúdos, licenciamento e ligações a projectos. A sessão está aberta ao público em geral, desde estudantes, professores, investigadores e outros especialistas do meio académico.

A participação na Academia Wikipédia é gratuita, mas com inscrição obrigatória. Poderá fazer a sua inscrição online aqui:
http://academia-wikipedia.org/inscricao.php.

Se és dos que vão à Wikipédia antes de fazer um trabalho, ou enquanto pesquisas profissionalmente, então este evento tem entrada livre, realiza-se a 16 de Abril, na Exponor, e parece ideal para ti!

Está aberta a Chamada a Oradores para o primeiro evento organizado pela Associação Wikimedia Portugal (WMP)!

A Wikimedia Portugal, em conjunto com a Faculdade de Engenharia da Universidade do Porto (FEUP), está a organizar o primeiro Workshop em Portugal intitulado “Academia Wikipédia” no Porto/Exponor, a realizar em simultâneo com a “Qualifica”- Feira de educação, formação, juventude e emprego, no dia 16 de Abril.

Aqui está um pequeno descritivo da Academia:
Academia Wikipédia

As apresentações deverão ser em português, sempre que possível, e devem demorar entre 20min a 30min, com alguns minutos para perguntas e respostas. Se houver necessidade de estender este tempo penso que não será impossível.

Sou eu que estou a organizar o programa, e estou a criar uma maquete aqui: Programa da Academia Wikipédia. Enviem temas que gostavam de ver abordados, se os apresentados (a título de exemplo) não vos puxa para falar. Entrem em contacto comigo, ou usem a página de contactos da WMP.

I took the time to make some improvements to KTEmailPush KnowledgeTree Plugin. It’s now a real KT Plugin (instead of external script) with its own scheduler task. Version 1.0 publishes the plugin as a KT pluggable plugin, with its scheduler’s own task. Only configuration is still file-based only. It should be a matter of 4 or 5 steps to get it up and running in your system.

Features

• Upload to specific folder, to user’s group/unit folder, to user’s Dropped Documents folder or you may use an external script to determine where the file should be uploaded to;
• Upload message body as document, optionally setting links between body and attachments;
• Restrict emails based on sender or recipient;
• Attachments can be uniquely distinguished, or be uploaded as new revisions of same document (based on filename);
• Multiple notifications can be sent: message without attachment detection (and removal), discarded non-existing KT user originated mail, sender notification of new documents (can be complemented with Workflow notifications for notifying recipients), notify sender of uploaded documents, notify system admininstration;
• Full debugging support and exclusive lock to avoid multiple runs;

The default behaviour is to upload to a specific folder, based on the address found in ‘From:’, which should be an unique email bound to an username.

It can be complemented with KT Workflows to fire notifications.

Also, there are lots of options (in config.inc.php) to decide what exactly the plugin should do with attachments, debugging, etc.

Installation

• You should create the following mail addresses to receive the documents, which should match $mail_username, $mail_cc and $mail_admin in config.inc.php: kt_queue@domain.com, kt_copy@domain.com, kt_admin@domain.com;
• Unpack the source (or SVN checkout) to the directory ‘plugins’

    svn checkout https://svn.forge.dri.pt/svn/kt-emailpush/trunk kt-emailpush
  	

  Note that kt_copy should maintain an endless growing copy of all email sent (which should be maintained by YOU, since it’s untouched), and that kt_admin is the admin’s destination address for notifications.

• Adjust the values in the config.inc.php script.
• Go to “Administration > Miscellaneous > Manage plugins” and reread plugins. The refreshed listing should now show “KT EmailPush Plugin”. Activate it and click on the “Update” button.
• Visit “Administration > Miscellaneous > Manage Task Scheduler” to ensure the “Fetch Mail” tasks is installed and active and it’s running with the desired frequency.
• Be sure to have your KT cron running.

Maintenance

The file specified in config $lockfile will prevent running concurrent copies. Eventually you can use this mutex facility to auto-unlock if you need to perform some kind of maintenance.

→ Find out more at KT’s Wiki: http://wiki.knowledgetree.com/Email_Gateway_Plugin.

I did it. I went to FNAC and bought it. I really did it

I just got this new Acer Aspire One (D250).

I’ve installed UNetbootin on my Fedora and downloaded an Ubuntu 9.10 image. After deploying the image to a 2GB USB stick, and booting the netbook, it just went on booting without any trouble at all. That’s what I like in Ubuntu, and that’s what I need for this laptop. After booting, just went through the installer and, after a couple of questions, all was ready: Wi-fi, Ethernet, Microphone, Webcam, everything worked out-of-the-box. Even the Wifi led is working, against all odds

I went through a shared installation to keep things simple. I still have to investigate this further, but awesome as well is the fact the Ubuntu installer respected both Android and Windows 7. Both are still bootable, the first being booted without option (I think it’s my fault when I was asked how I’d like it to boot), then GRUB, and from there I can go wherever: Ubuntu or Windows 7.

Windows 7, as usual, didn’t seem prepared to partition adjustments. After first boot it started a filecheck (still the good’old CHKDSK, just imagine :)… after rebooting again, it was ready to stay. Luck for it that handled it afterall, as its days of existence here are probably limited.

So, this page is needing an update. Pending testing is now the card reader and the webcam. After that, I should update the page.

In the meantime, between reboots, I just found my newest addiction (on the phone, so far) online as well: Tower Bloxx

Este post já deveria ter chegado há muito mais tempo. Mas o tempo não o permitiu…

Não deve ser novidade que a Wikimedia Portugal (WMP) já arrancou o Plano de Actividades para 2010-11. A primeira actividade oficial foi uma apresentação num seminário no Instituto Superior Técnico promovido pela Presidência do Departamento de Engenharia Informática, a convite do prof. José Borbinha, que gostámos muito de conhecer e a quem agradecemos o apoio e disponibilidade que demonstrou para connosco.

A Susana fez uma exposição da Wikimedia Foundation, do nosso contexto WMP, do processo editorial, da estrutura interna dos projectos (utilizadores, categorias, etc), da manutenção, licenciamento, etc.

A apresentação está aqui:
http://wikimedia.pt/download/Wikimedia_Slideshow.pps

Eu juntei-me à festa, atendendo a um público de informática, e apresentei brevemente a plataforma da WMF (servidores, software, arquitectura) mas o grosso da minha mini-apresentação foi para falar de predefinições, dados estruturados e seus benefícios na Wikipédia e, por fim, divaguei um bocadinho até à Web Semântica, conceito para o qual a Wikipédia está a ser bastante utilizada (os tópicos estão resumidos em 2 posts que já tinha feito no blog [1][2]).

A apresentação está aqui:
http://wikimedia.pt/download/Wikimedia_Web_Semantica.pps

Em Setembro escrevi sobre as consequências de deixar ao acaso o tamanho e character set de campos VARCHAR. Entretanto gostaria de complementar as observações com o que escrevo abaixo.

A mistura de charsets — como ter uma tabela num charset e um determinado campo dessa tabela com outro charset diferente, por exemplo — deve ser cuidadosamente analisada. Existe alguma probabilidade de ocorrerem complicações, caso se trate esta questão levianamente.

À parte do que se deve ou não fazer, o que eu gostaria era que se compreendesse o benefício que se pode atingir no caso particular da utilização de UUIDs. Já vimos que UTF-8 para este caso particular é um desperdício, mas o que gostaria de demonstrar são se, de facto, compensa alterar campos específicos quando nem todos podem ser alterados.

Vejamos: vão ser criadas 2 tabelas MyISAM em UTF-8, uma com um campo Latin1 e outra com o campo natural, em UTF-8. Vou usar uma tabela que tinha para aqui com 2M de UUIDs apenas para acelerar o processo. Essa tabela, table_uuid, é original Latin1, embora o foco não seja sobre o carregamento dos dados, mas sim do seu cruzamento entre as duas primeiras:

Agora, suponhamos que a tabela charset_latin1 é uma tabela originalmente em UTF-8, para a qual já fizemos a transformação do campo (que vai albergar UUIDs) para Latin1. O que pretendemos demonstrar são os ganhos/prejuízos do cruzamento de tabelas com as mesmas características, e com diferentes:

Ou seja, como já se disse, fazer JOINs com Latin1 é muito rápido, relativamente às outras opções. Mas repare-se quando se cruzam diferentes charsets (1º JOIN): ocorre uma degradação de 19% face ao pior caso.

Ou seja, tendo em conta que estas tabelas podem ser apenas tabelas de relação [quero com isto dizer que não contêm dados que não sirvam senão para cruzamentos/JOINs] é expectável que a performance se degrade sempre que sejam cruzadas com outras cuja chave não esteja no mesmo charset. Deduz-se daqui que existe, portanto, overhead relativo às conversões de charset durante o JOIN.

Apesar de estarmos perante um index scan (ie, com os dados todos em cache), ocorreu-me também experimentar com InnoDB.

Convém ressalvar aqui que fiz uns SELECTs primeiro para ter a certeza que os datafiles estavam carregados na buffer pool.

Ou seja, a conclusão que se pode tirar daqui é que: não só devemos pensar na optimização que se ganha com a escolha do charset, mas também devemos analisar o impacto de não podermos levar a tarefa de reconversão avante na totalidade. A necessidade de cruzar campos com charsets diferentes torna-se, efectivamente, mais penoso. Resta comparar, caso a caso, o benefício que se obtém em queries pouco/nada optimizadas versus o prejuízo de performance que poderá reflectir-se em cruzamentos/JOINs com campos em charsets diferentes.

Finally I had the time to compile NRPE (the nagios addon) for Endian Firewall. If you are in a hurry, look for the download section below.

First of all, an important finding is that Endian Firewall (EFW) seems to be based on Fedora Core 3, so maybe sometimes you can spare some work by installing FC3 RPMs directly. And that's what we'll do right away, so we can move around EFW more easily.

Packaging and installing NRPE

• Install wget:
  
  rpm -Uvh http://archives.fedoraproject.org/pub/archive/fedora/linux/core/3/i386/os/Fedora/RPMS/info-4.7-5.i386.rpm
  rpm -Uvh http://archives.fedoraproject.org/pub/archive/fedora/linux/core/3/i386/os/Fedora/RPMS/wget-1.9.1-17.i386.rpm

• If you don't have an Endian Community Account, register yourself at: http://www.endian.org/register
• Then you can run, from the shell:
  
efw-upgrade

  This command will ask you the profile your dummy endian should assume and will install the necessary build tools if you choose development.
• Grab the source for NRPE from: http://www.nagios.org/download/addons/ (it was version 2.12 in my case):
  
  cd /root
  wget http://prdownloads.sourceforge.net/sourceforge/nagios/nrpe-2.12.tar.gz

• Now place the files for RPM building. Refer to rpmbuild(8) man page if you are not familiar with the requirements.
  
  cd /usr/src/endian/SOURCES
  cp /root/nrpe-2.12.tar.gz .
  tar xfvz /root/nrpe-2.12.tar.gz
  cp nrpe-2.12/nrpe.spec ../SPECS

• For NRPE to work seemlessly within EFW some minor adjustments have to be made. I'm providing them here, with a brief explanation: nrpe-2.12-init-script.patch will fix some assumptions made for general RPMs and nrpe-2.12-spec.patch will remove unused dependencies and provide an EFW startup script. Apply these patches into the distribution you unpacked in the previous step - refer to patch(1) man page.

  After applying the patches to the uncompressed distribution, you'll need to repackage the tarball - it will be automatically decompressed for the building stage.

• Now build everything:
  
  rpmbuild -ba /usr/src/endian/SPECS/nrpe.spec

  
  This should compile you the RPM for you current architecture. It will integrate in for shell administration only, which means you won't be able to control it from the web interface.

• Finally, install the package:
  
  rpm -ivh /usr/src/endian/RPMS/`uname -i`/nrpe-2.12-1.`uname -i`.rpm

  
  And that should be it, for NRPE. Go on and setup /etc/nagios/nrpe.cfg and don't forget to add the firewall rules for the port you selected (default is 5666).

Packaging and installing nagios-plugins

• Grab the source at: http://sourceforge.net/projects/nagiosplug/files/

  
cd /root
wget http://sourceforge.net/projects/nagiosplug/files/nagiosplug/1.4.14/nagios-plugins-1.4.14.tar.gz/download

• Repeat the procedure you did for NRPE: place the tarball on SOURCES and the spec file on SPECS:
  
  cp nagios-plugins-1.4.14.tar.gz /usr/src/endian/SOURCES/
  cd /usr/src/endian/SOURCES/
  tar xfvz nagios-plugins-1.4.14.tar.gz
  chown -R root:root nagios-plugins-1.4.14
  cp nagios-plugins-1.4.14/nagios-plugins.spec ../SPECS/

• This bundle of plugins includes the so-called standard plugins for nagios. They are a lot and you maybe can just cut some off so the building is quicker. Also, you may avoid depend on perl(Net::SNMP), perl(Crypt::DES) and perl(Socket6) - which you can grab from DAG's RPM repo (remember the FC3 branching).


cd /root
wget http://dag.wieers.com/rpm/packages/perl-Net-SNMP/perl-Net-SNMP-5.2.0-1.1.fc3.rf.noarch.rpm
wget http://dag.wieers.com/rpm/packages/perl-Crypt-DES/perl-Crypt-DES-2.05-3.1.fc3.rf.i386.rpm
wget http://dag.wieers.com/rpm/packages/perl-Socket6/perl-Socket6-0.19-1.1.fc3.rf.i386.rpm

• Finally, install everything:
  
  rpm -ivh perl-Net-SNMP-5.2.0-1.1.fc3.rf.noarch.rpm \
  perl-Crypt-DES-2.05-3.1.fc3.rf.i386.rpm \
  perl-Socket6-0.19-1.1.fc3.rf.i386.rpm \
  /usr/src/endian/RPMS/i386/nagios-plugins-1.4.14-1.i386.rpm

Final notes

Be aware that this is a sample demonstration. I was more interested in having it done for my case - since I can fix future problems - rather than doing a proper/full EFW integration. If you think you can contribute with tweaking this build process just drop me a note.

Download

Here are the RPMs which include the supra-mentioned tweaks (this required extra patching on the .spec file and include the patch within the source):

• nrpe-2.12-1.i386.rpm (src.rpm)
• nagios-plugins-1.4.14-1.i386.rpm (src.rpm)

Bem, já lá vai algum tempito, mas aproveitei o tempo de férias para dar algum feedback do que de novo apareceu relativamente ao MySQL.

Começo por sinalizar o aparente descontinuamento do ramo 5.0.x do MySQL, pelo menos no que toca à manutenção activa. Também já não era sem tempo, já que a versão 5.1 trouxe demasiadas coisas boas para ser ignorada.

A seguir deve seguir-se a 5.4.x; as novidades foram muito bem recebidas, sobretudo pela malta do Solaris e do InnoDB que, por sua vez - e devido ao facto do InnoDB passar a ser desenvolvido em forma de plugin - deverá evoluir nestas questões de forma independente do core. Mas a grande grande novidade...

... é o surgimento da versão 5.5 como milestone 2 a caminho do próximo ramo GA que, além de fundir as novidades da 5.4, oferece-nos (finalmente!):

• a possibilidade de alargar o particionamento para além das funções de particionamento, que eram pouquíssimas e até para particionar por data eram necessários alguns estratagemas;
• o suporte para key caches por partição (fantástico!);
• as tão esperadas funções SIGNAL e RESIGNAL - as marteladas que eram necessárias para contornar esta lacuna eram terríveis de manter :);
• o suporte para a replicação semi-síncrona sob a forma de plugin;
• e outras, que não obstante não serem enumeradas por mim, não devem ser descuradas na leitura!!

Claro que já houve experimentadores destas tecnologias, e aqui vos deixo mais material de leitura:

• A análise detalhada sobre as melhorias do particionamento, por Giuseppe Maxia (que esteve há dias no SAPO Codebits);
• Um Quick Start sobre a replicação semi-síncrona, também do Giuseppe Maxia;
• Um in-depth sobre a utilização do SIGNAL/RESIGNAL, por Roland Bouman;

Convido-vos a deixarem aqui links para os vossos artigos e comentários sobre as restantes funcionalidades.