Arreglando el histórico en git
Si usamos git en el día a día, probablemente nos habremos encontrado alguna vez con que olvidamos configurar nuestro user.name y/o user.email, el sistema coge valores por defecto y acabamos teniendo commits con autor o dirección de correo inválidos para el repositorio remoto (sea Github, Gerrit, BitBucket o cualquier otro). En tal caso hay que arreglar todos los commits incorrectos sí o sí.
Arreglar el último commit
Esta fiesta es la más sencilla. Para arreglar el último commit basta con hacer:
git commit --amend --author "New Author Name <email@address.com>"
Arreglar varios commits o un commit antiguo
Vale. La hemos cagado. Y ahora nos encontramos con miles de líneas de código que hemos ido comiteando sin hacer push, y de pronto tenemos a git rechazando el push porque el commiter es incorrecto para el repositorio remoto, es decir, su dirección de correo y/o autor no los reconoce.
Podríamos decirnos que estamos jodidos y tratar de endosarle el marrón a otro, pero la verdad es que el problemón tiene solución. Es un poco pesada y usa algunas cosas de git que son peligrosas (puedes cambiar el orden de los commits de todo el repo jodiendo al resto de desarrolladores de tu equipo), pero siguiendo estas instrucciones con cuidado igual salvamos el culo…
En primer lugar hay que encontrar el commit más reciente en el repositorio local anterior a todos los que tienen mal el commiter. Por ejemplo, supón el siguiente histórico:
afffg2 patxi@gmail.com
cdfg34 jorge@gmail.com
3f55a4 patxi@gmail.com
345dg8 pepito@gmail.com
658dff patxi.gortazar@gmail.com
... a partir de aquí todo ok
Supongamos que hay que apañar el mail de patxi@gmail.com y cambiarlo por patxi.gortazar@gmail.com. El commit más reciente anterior a los que tienen el email patxi@gmail.com que hay que cambiar es el 345dg8 de pepito@gmail.com.
Ahora hacemos un git rebase con este commit como referencia:
git rebase -i -p 345dg8
Se abre un editor de texto que nos muestra todos los commits desde el 345dg8 en adelante. Cada commit está en una línea y comienza por “pick”. Tenemos que ver cuáles queremos cambiar y sustituir “pick” por “edit” y guardar. La cosa debería quedar tal que así:
edit afffg2 patxi@gmail.com
pick cdfg34 jorge@gmail.com
edit 3f55a4 patxi@gmail.com
pick 345dg8 pepito@gmail.com
Guardamos y salimos. Git nos informa de cómo proceder, básicamente vamos a ir avanzando haciendo commits parando en cada uno de los commits que le hemos dicho que queremos editar. Estos commits los apañaremos y seguiremos adelante con el proceso hasta el final.
Vamos paso por paso. En primer lugar, git habrá avanzado por defecto hasta el primer commit: 3f55a4. Vamos a arreglar este commit. Para ello usamos “git commit –amend” indicando el nuevo autor y correo electrónico:
git commit --amend --author "Patxi Gortázar <patxi.gortazar@gmail.com>"
Se abre un editor por si queremos cambiar el mensaje del commit. No tocamos nada, simplemente guardamos y salimos.
Ahora avanzamos hasta el siguiente commit que queremos arreglar:
git rebase --continue
Git se para en el commit afffg2. Arreglar este commit de la misma forma:
git commit --amend --author "Patxi Gortázar <patxi.gortazar@gmail.com>"
Aunque hemos arreglado todos los commits, aún le tenemos que decir a git que avance hasta el final, dejando el repo con los mismos commits que tenía antes de comenzar:
git rebase --continue
Listo. Prueba a hacer un pull (por si acaso) y un push.
EclipseGavab 2.0
EclipseGavab es una distribución de Eclipse que desarrollamos en Sidelab y venimos usando desde hace más de 5 años en la Universidad Rey Juan Carlos como el IDE de referencia en asignaturas de paradigmas y programación. El principal valor de EclipseGavab es que integra soporte para diferentes de lenguajes de programación permitiendo que los alumnos se familiaricen con un único entorno y se puedan centrar en el lenguaje concreto. En aquellos casos en que ha sido posible, incluye también los correspondientes compiladores/intérpretes/máquinas virtuales de dichos lenguajes.
Lenguajes soportados:
- Java
- C/C++ (en Windows incluye compilador basado en cygwin)
- Pascal y ObjectPascal (en Windows incluye el compilador FreePascal)
- PascalFC (incluye compilador e intérprete en Windows y Linux)
- Ruby (en Windows incluye intérprete Ruby)
- Haskell (en Windows incluye ghc)
Puedes descargar EclipseGavab de los siguientes enlaces:
- EclipseGavab 2.0 Windows Installer (300Mb). Windows XP and Windows Vista installer. Requires 660 Mb.
- EclipseGavab 2.0 tar.gz for Linux. A tar.gz Linux distribution. It requires the installation of the following tools: Java SE 6 for executing EclipseGavab and Java programming; gcc for C/C++ programming; FreePascal for Pascal programming; ghc for Haskell programming; and Ruby for Ruby programming.
En Ubuntu, los paquetes necesarios son: build-essential, fp-compiler, fp-units-base, fp-units-rtl, ghc6, ruby, sun-java6-jre, y se pueden instalar con el siguiente comando:
sudo apt-get install build-essential fp-compiler fp-units-base fp-units-rtl ghc6 ruby sun-java6-jre
[Editado el 7/2/2014]
En Ubuntu 64 bits es necesario usar una versión Java de 32 bits. En Windows esto no es necesario porque EclipseGavab lleva una versión de java de 32 bits embebida. Se puede descargar el jdk 7 de 32 bits de esta url, pulsando en “Java Download” y seleccionando después la versión “linux x86″ de extensión tar.gz.
Una vez descargado Java, se descomprime (tar -xvzf jdk-7-xx.tar.gz) en el home del usuario y se edita el fichero eclipse.ini para que utilice esta versión de Java. Supongamos que la ruta es “/home/user/jdk-7-u51″, el fichero eclipse.ini debe incluir las siguientes líneas inmediatamente antes de la opción “-vmargs”:
-vm
/home/user/jdk-7-u51/bin/java
Enjoy programming!
2012 in review
The WordPress.com stats helper monkeys prepared a 2012 annual report for this blog.
Here’s an excerpt:
600 people reached the top of Mt. Everest in 2012. This blog got about 8,700 views in 2012. If every person who reached the top of Mt. Everest viewed this blog, it would have taken 15 years to get that many views.
En el evento Big Data Spain…
Hola a todos, hace tiempo que no escribíamos en el blog. La verdad es que Sidelab ha sufrido cambios importantes últimamente… en breve os contaremos en detalle la nueva situación, pero ahora os voy a hablar de BigData.
Hoy he estado en la conferencia BigData Spain. Se ha celebrado en la ETSIT de la UPM y ha sido organizada por Paradigma Tecnológico. La verdad es que ha estado muy bien. En este post contaré las cuestiones más relevantes del evento.
Por la mañana hemos tenido las charlas más generales sobre Big Data. La conclusion a la que he llegado es que Big Data en realidad es “processing” de big data. Hemos tenido varias charlas de gente clave en el mundo de BigData. Se han hablado de cuestiones como: Cassandra, otra de Cloud y BigData (de la mano de gente de gigaspaces), de BigQuery de Google y de Apache Pig.
Con lo que me quedo del mini-congreso es que hay muchos enfoques diferentes para trabajar en BigData. Como la eficiencia y la optimización es muy importante, hay muchos enfoques, cada uno de ellos para una tarea específica. Es decir, tradicionalmente lo más normal es que los datos de tu aplicación estén alojados en una base de datos relacional y todos los servicios (almacenamiento, análisis en tiempo real, consultas, informes…) se bases en dicha base de datos. Lo que aprendemos de BigData es que los modelos tradicionales no escalan y hay que utilizar otras tecnologías si queremos escalabilidad. Pero lo más importante es que no hay “una única nueva tecnología”… ahora hay muchas tecnologías diferentes que solventan problemas diferentes. Es más, lo habitual es que esas tecnologías se utilicen “a la vez” en tu sistema. Y eso me recuerda el término de persistencia-políglota de Martin Fowler. Todas estas nuevas formas de persistencia se engloban dentro del movimiento NoSQL, que ahora se empieza a entender como “Not only SQL” (en vez de No SQL).
La conclusión a la que llego es que en movimiento de BigData ya está lo suficientemente maduro como para que se empiece a pensar en la integración de todas estas tecnologías dentro de un mismo paraguas. Y no sólo desde el punto de vista conceptual, de modeloado de datos y de procesado de los mismos, también desde el punto de su ejecución. Hay que tener en cuenta que la escalabilidad es muy importante (junto con la tolerancia a fallos), por tanto el cloud computing (y la facilidad que proporciona el Paas) están muy relacionados con el BigData.
En definitiva… hay que estar al tanto de este movimiento para que no te pille desprevenido. Yo ya me he puesto a tope con MongoDB, una base de datos NoSQL.
¿Cuándo usar BigData? Según el ingeniero de Google: cuando el coste de determinar qué cosas no almacenar es mayor que el coste de almacenarlo todo :)
Making Of: Libro de Lenguajes y Procesadores
Como comenté en esta otra entrada, el libro de Lenguajes de Programación y Procesadores lo hemos creado con LaTeX. LaTeX es un sistema de composición de textos que a mí me vendieron (teóricamente) como “céntrate en el contenido, y olvídate del aspecto”. Y digo teóricamente entre paréntesis porque la realidad nunca es tan idílica. Al final las imágenes se te van unas páginas más allá de lo que querrías, conseguir que las palabras se corten bien es un problema aparte, hay que configurar un montón de cosas para que el tamaño de página, encabezados, etc queden como tú quieres…
Además, un libro como el que nos ocupa contiene diferentes recursos: listados de código, diagramas en forma de árbol, figuras… Cada uno de estos recursos requiere importar uno o varios paquetes LaTeX y, en ocasiones, configurarlos adecuadamente. Al final, el proceso se parece bastante a programar. De hecho, utilicé Eclipse para escribir mi parte del libro, utilizando para ello el plugin Texlipse, y todo el libro se encuentra en el correspondiente proyecto de SidelabCode.
Total, que al final dejar el libro como quieres es una tarea en la que a veces hay que hilar muy fino. La parte positiva de todo esto es que me he encontrado con algunos paquetes de LaTeX que son extremadamente útiles y versátiles, y quería dejarlos aquí anotados para uso y disfrute de la comunidad.
Código fuente
La inclusión de código fuente en un libro no es algo que se pueda tomar a la ligera. Los siguientes aspectos me parecían fundamentales a la hora de insertar código en el libro:
- La tipografía del código fuente debe ser diferente de la del resto del libro y monoespaciada.
- Las líneas deben ir numeradas para poder hacer referencia a una línea concreta del código o a un bloque.
- Preferiblemente el código debe tener resaltado de sintaxis.
- A mi personalmente me gusta que el fragmento del código se separe del texto “normal” de alguna manera (por ejemplo recuadrando el código).
Evalué diferentes formas de hacer esto hasta que di con el paquete perfecto: Listings. Añadir código fuente con Listings es tan fácil como esto:
\begin{lstlisting}[style=Haskell]
suma :: Integer -> Integer -> Integer
suma x y = x + y
\end{lstlisting}
Y el resultado queda como en la imagen:
Las palabras reservadas aparecen en negrita, el fondo es de un gris claro para distinguirlo fácilmente del resto del texto, la fuente es monoespaciada y las líneas están numeradas.
Listings trae un montón de lenguajes predefinidos y es sumamente versátil. Es posible cambiar el aspecto de prácticamente todo: comentarios, fondo, números de línea, palabras reservadas… Nosotros lo hemos utilizado para código Java, Haskell, C, Ruby, Pascal, XML, PHP, Awk, bash, Prolog y Perl. Puedes usarlo para un lenguaje que Listings no conozca. Evidentemente no reconocerá las palabras reservadas, pero al menos se mostrará con estilo de código fuente.
Árboles
En un libro donde hay un capítulo dedicado a los compiladores, abundan los árboles de análisis sintáctico. Habíamos pensado hacer estos árboles con algún programa externo, generar la imagen correspondiente y después insertar la imagen en el documento. El problema de este enfoque es que la tipografía de la imagen puede variar mucho respecto a la del texto del libro. Además, hay que tener mucho cuidado con el escalado, para que el tamaño del texto de unas figuras no difiera del de otras.
Buceando un poco por la web, vi el paquete qtree. Con este paquete es sumamente sencillo definir árboles, siempre que se tenga un poco de cuidado con el balanceado de los corchetes que sirven para delimitar los diferentes niveles. El punto indica cuál es la raiz del subárbol correspondiente:
\Tree [.S [.A a b ] [.B a b a ] ]
La sintaxis es sencilla, pero desagradable a la vista. Ahora bien los resultados son espectaculares:
Diagramas sintácticos
Otro de los recursos que contiene el libro son diagramas sintácticos. Estos diagramas se utilizan en el Capítulo 1 y para generarlos utilizamos el paquete syntax. Syntax forma parte de mdwtools, que incluye también paquetes para formatear gramáticas BNF. He aquí un ejemplo de definición de diagrama sintáctico con syntax:
\begin{figure}
\begin{syntdiag}
<termino>
\begin{stack}\\
\begin{rep}
\begin{stack}
'+'\\
'-'
\end{stack}
<termino>
\end{rep}
\end{stack}
\end{syntdiag}
\caption{\small \emph{Diagrama sintáctico correspondiente a la gramática \ref{gram:termino}}}
\label{fig:diagrama-sintactico-termino}
\end{figure}
Y el resultado (en nuestro caso escogimos diagramas con bordes cuadrados en lugar de redondeados):
Encabezados en versales
Esta es una de las cosas que más fastidiosa resultó. Una vez que teníamos terminado el libro, el editor, con buen criterio, nos señaló que los encabezados de los índices aparecían en mayúsculas, mientras que en el resto del libro los encabezados de las páginas aparecen en versales.
Estuve intentando cambiar el estilo de las páginas de los índices, pero no era capaz. El estilo por defecto para los capítulos no se aplicaba a los índices. Al final opté por particularizar el estilo de los capítulos para cada uno de los índices (hay un índice general, un índice de figuras y un índice de tablas):
\newcommand{\ps@indexheadings}{%
\renewcommand{\@oddhead}{% encabezamiento páginas impares %
\parbox{\textwidth}{
\hfill \textsc{Índice} \hfill \thepage}}
\renewcommand{\@evenhead}{% encabezamiento páginas pares %
\parbox{\textwidth}{
\thepage \hfill \textsc{Índice} \hspace*{\fill}}}}
Ahora, poniendo lo siguiente:
\pagestyle{indexheadings}
\tableofcontents
El encabezado del índice aparece correctamente en versales.
Bibliografía
El último de los temas (que yo recuerde) de interés en la composición del libro fue el estilo de la bibliografía. El estilo bibliográfico normal añade un and entre el penúltimo autor y el último en las publicaciones. Queríamos que apareciera un y. Intentamos cambiar al estilo castellano (con el fichero de estilo spain.bst), pero el estilo era muy diferente y no nos gustaba.
Al final opté por modificar a mano el fichero plain.bst con el estilo normal (renombrándolo) y cambiar el and por y. Sólo hay que cambiar la línea 201:
{ " y " * t * }
Os dejo el diff:
201c201
< { " and " * t * }
---
> { " y " * t * }
Y este es el resultado:
Sidelab Commons
SidelabCode tiene un nuevo proyecto, liberado bajo una licencia de código abierto. Se trata de Sidelab Commons. El objetivo de Sidelab Commons es exportar pequeñas librerías de utilidad para que puedan ser utilizadas desde otros proyectos.
Para explicar en más detalle el objetivo del proyecto, aunque muchos ya habrán realizado una asociación con el proyecto Apache Commons, nos centraremos en un caso particular. En varias ocasiones nos hemos encontrado con la necesidad de invocar comandos, a través de la API Runtime (más concretamente Runtime.exec), desde java. Además, esta funcionalidad la hemos requerido desde proyectos muy diferentes:
- En Optsicom Remote Experiment System (Optsicom RES) se utiliza para ejecutar en una máquina remota un programa Java arrancando una nueva VM.
- En Optsicom Framework se utiliza para ejecutar un experimento en una VM diferente.
- En Pascaline, un plugin de Eclipse para Pascal, se utiliza para invocar el compilador de FreePascal.
- SidelabCode Stack, el instalador de la forja de SidelabCode, se utiliza para invocar apt-gets y todo tipo de comandos que permiten configurar adecuadamente los servicios de la forja.
- En proyectos que hemos desarrollado para empresas también hemos necesitado invocar comandos externos a menudo.
El uso de Runtime.exec no es trivial. Además de las diferentes versiones disponibles, hay que tener en cuenta la captura de la salida estándar y la salida de error del proceso que se está lanzando. Normalmente, para cerciorarnos de que el proceso ha terminado correctamente es necesario:
- Al terminar el proceso comprobar el código de salida
- Recuperar la salida estándar
- Recuperar la salida de error
La recuperación de las salidas del proceso requiere la creación de un hilo para la salida estándar y otro para la salida de error que consumen los datos de los respectivos InputStreams hasta que el proceso los cierra. Básicamente, el código tiene este aspecto:
new Runnable() {
public void run() {
try {
byte[] buffer = new byte[1024];
int leidos = 0;
while ((leidos = System.in.read(buffer)) != 0) {
out.write(buffer, 0, leidos);
}
} catch (Exception e) {
throw new RuntimeException(e);
}
}
}
Como esto es tedioso de hacer cada vez, en su día lo factorizamos en una pequeña librería que llamamos commandline. Ahora, hemos abierto el proyecto Sidelab Commons para alojar este tipo de recursos. Actualmente, cualquier proyecto puede hacer uso de commandline, y obtener de forma sencilla la salida de un proceso:
CommandLine cl = new CommandLine(); // Opcionalmente podríamos especificar el dir de trabajo en el constructor.
CommandOutput co = cl.syncExec("tail /etc/apache2/sites-enabled/default");
System.out.println(co.getStandardOutput());
System.out.println(co.getErrorOutput());
Puedes descargar commandline o añadirlo como dependencia a tu pom. Echa un vistazo a nuestro archiva.
Por cierto, recuerda que cuando invocas comandos desde Java, no estás ejecutando el comando dentro de una shell, y por tanto no funcionan los wildcards (cosas como ls *.java). Si necesitas realmente ejecutar tu comando desde una shell para que te interprete adecuadamente este tipo de comodines usa bash -c ‘ls *.java’ o mira la documentación de la shell que soporte tu sistema. Nosotros, por ejemplo, hemos tenido problemas ejecutando un proceso en Windows y tuvimos que utilizar “cmd /c” para correrlo dentro de la shell de Windows en modo no interactivo. Puedes echar un vistazo a esto en el proyecto Pascaline.
Jenkins, Subversion y los certificados SSL
Trando de automatizar la release de un proyecto Maven, nos hemos encontrado con un problema con los certificados y Subversion. El problema es que Subversion no acepta el certificado de SidelabCode. Concretamente el error es el siguiente:
Error validating server certificate for 'https://code.sidelab.es:443':
- The certificate is not issued by a trusted authority. Use the
fingerprint to validate the certificate manually!
Certificate information:
- Hostname: code.sidelab.es
- Valid: from Fri, 09 Sep 2011 13:42:29 GMT until Mon, 06 Sep 2021 13:42:29 GMT
- Issuer: Web, Sidelab, ES, Madrid
- Fingerprint: 59:6f:56:07:f5:a8:bf:fe:7a:57:75:37:a8:57:76:8c:0f:9f:6f:9d
(R)eject, accept (t)emporarily or accept (p)ermanently? svn: Commit failed (details follow):
svn: OPTIONS of 'https://code.sidelab.es/svn/optsicomres/res/trunk': Server certificate verification failed: issuer is not trusted (https://code.sidelab.es)
Error validating server certificate for 'https://code.sidelab.es:443':
- The certificate is not issued by a trusted authority. Use the
fingerprint to validate the certificate manually!
Certificate information:
- Hostname: code.sidelab.es
- Valid: from Fri, 09 Sep 2011 13:42:29 GMT until Mon, 06 Sep 2021 13:42:29 GMT
- Issuer: Web, Sidelab, ES, Madrid
- Fingerprint: 59:6f:56:07:f5:a8:bf:fe:7a:57:75:37:a8:57:76:8c:0f:9f:6f:9d
(R)eject, accept (t)emporarily or accept (p)ermanently? svn: OPTIONS of 'https://code.sidelab.es/svn/optsicomres/res': Server certificate verification failed: issuer is not trusted (https://code.sidelab.es)
En principio el problema se soluciona accediendo a la máquina y haciendo cualquier operación a mano con subversion desde el mismo usuario con el que se ejecuta svn desde Jenkins. Sin embargo, la cosa no es tan sencilla en ocasiones, porque es posible que no podamos utilizar directamente el usuario para esto de forma interactiva. Esto se da cuando el usuario que ejecuta Jenkins es un usuario sin login como por ejemplo el usuario tomcat o www-data. Así que voy a dejar aquí un método genérico que debería funcionar en (casi) cualquier caso:
- Conéctate a la máquina con un usuario cualquiera.
- Ejecuta alguna operación sobre el repositorio, por ejemplo
svn info https://miservidor/path/repo. - Acepta permanentemente el certificado pulsando “p”.
- Copia el fichero generado en la carpeta
.subversion/auth/svn.ssl.servers/dentro del home del usuario a la misma estructura de carpetas dentro del home del usuario con el que se ejecuta Jenkins.
Con este mecanismo he sido capaz de solucionar el problema, y ahora se pueden hacer commits y cualquier tipo de operación sobre el repositorio de forma automática desde Jenkins sin problemas.
Francisco Gortázar
micaelgallego