Para quienes no conozcan los teoremas que acabo de mencionar, el de Glivenko-Cantelli es muy importante para el estudio de las Máquinas de Aprendizaje, de hecho Vapnik lo cita bastante al principio de su libro Statistical Learning Theory ya que sin un teorema tan poderoso podría ser absurdo buscar máquinas de aproximación si no existe convergencia entre una observación y un fenómeno. El Teorema de Glivenko-Cantelli asegura que si la muestra de una distribución empírica tiende a infinito, entonces la distribución converge en probabilidad a la distribución desconocida del fenómeno:

El estadístico de Kolmogorov-Smirnov se utiliza para analizar las distribuciones de probabilidad y efectuar un test de hipótesis que pueda determinar si dos distribuciones son iguales:

Si lo relacionamos con el Teorema de Glivenko-Cantelli, el estadístico converge a cero si la distribución de probabilidad empírica se forma a partir de muestras obtenidas de la distribución del fenómeno F(x).

Hermoso, ¿cierto? Aunque esto es sólo una pincelada, ya que el análisis de los matemáticos mencionados para llegar a tales conclusiones es mucho más interesante, y hablando de cosas interesantes, merece especial atención el aporte de Kolmogorov a la teoría de la complejidad computacional.

Kolmogorov y Smirnov merecen tener un vodka en su honor.

Lugar: sede de la ACMS (Agencia Castellana de Máxima Seguridad). Despacho del Gran Jefe. Alguien llama a la puerta y pasa.

Bienvenido X28, tengo aquí los detalles de su nueva misión. En primer lugar, usted y el agente Y6 tienen que reunirse con su contacto en Quintanamartingalindez que les dará más instrucciones.

Me temo que no sé dónde queda Quintanamartingalindez, jefe.

No me haga perder el tiempo X28, mírelo en el mapa. Aquí tiene la imagen que le permitirá identificar a la persona que buscan…

Je, je, me parece que esta foto no ha salido demasiado bien, va a tener que repetirla si quiere que lo reconozca.

Déjeme acabar de hablar. Esta es sólo una sombra de la fotografía original, su compañero Y6 tiene la otra, Cuando se reúnan unirán sus fotos obteniendo una copia casi exacta de la original aunque menos contrastada.

Con el debido respeto jefe, esto es sólo un fondo gris plano, si lo uno con otro igual no obtendré más que gris.

Sólo aparentemente X28, el ojo humano no es suficiente para distinguir matices de gris tan similares. Fíjese en un volcado hexadecimal de los primeros bytes de su imagen:

  00000000 50360a323030203232310a3235350a80 |P6.200 221.255..|
  00000010 80808080807f7f7f8080807f7f7f7f7f |................|
  00000020 7f7f7f7f8080807f7f7f7f7f7f7f7f7f |................|
  00000030 7f7f7f80808080808080808080808080 |................|
  00000040 80808080807f7f7f7f7f7f7f7f7f7f7f |................|
  ...

Vea, después de la cabecera siguen una serie de grupos de bytes (pixels) que son o bien (80, 80, 80) o bien (7f, 7f, 7f) y ya que 80h=128 y 7Fh=127 tenemos dos grises muy similares. Además observe que en binario 80h=10000000b y 7Fh=01111111b luego los bits que están a cero en uno, en el otro están a uno y viceversa.

Sigo sin entender…

Bueno. La imagen original estaba formada sólo por pixels blancos (FF,FF,FF) o negros (00,00,00). Lo que nuestro laboratorio supersecreto hizo fue arrojar una moneda por cada uno de los pixels (tienen mucha paciencia estos chicos) y decidir de acuerdo con la siguiente tabla.

De esta manera si la imagen original era un pixel blanco su sombra podría tener por ejemplo un valor 80h que unido (operación lógica OR) con el 7Fh de su compañero daría lugar a FFh=1111 1111 es decir el blanco original.

Hum. Pero jefe, cuando mi sombra tenga un valor 80h y la de mi compañero también, la unión será de nuevo 80h y no 00h que era el negro original.

Veo que presta atención X28, tanto en este caso como en el otro (7Fh con 7Fh) se obtiene un gris oscuro en lugar del negro original, por eso dije que la imagen saldría menos contrastada. Aun así es perfectamente reconocible.

Pero si una agencia rival obtiene mi imagen o la de mi compañero,¿ no serán capaces de ver la original?

No, fíjese que por depender los resultados del azar, un byte 80h puede con igual probabilidad provenir de un byte negro como de uno blanco, todos los bitmaps en blanco y negro son igualmente posibles y su imagen podría ser perfectamente una foto del acueducto de Segovia.

Bueno jefe, ahora estoy más tranquilo, voy a buscar un mapa y salgo inmediatamente.

Buen viaje X28.

El jefe se reclina en su sillón pensativo. Luego levanta la pantalla de su portátil y mira satisfecho

Aquí termina el copy/paste…

Personalmente me gustó bastante este método, ya que es muy sencillo de implementar, pero lamentablemente es muy básico ya que si tienes las dos imágenes es muy fácil deducir que hay una operación OR, AND o XOR en la criptografía. Propondría una mejora más matemática, quizás aplicar algoritmos de convolución y dar soporte a colores para permitir una mayor complejidad de decriptación, de tal forma que al tener las dos imágenes además sea indispensable el algoritmo para poder descubrir la imagen real, permitiendo una funcionalidad similar a un public-key (criptografía asimétrica). Aún así, aparte de ser entretenido, no le encuentro alguna utilidad jajaja.

Lo que no había imaginado es que Dirichlet alrededor de 1850 se había cuestionado un problema similar el cual fue estudiado en profundidad por Voronoi después del 1900. El problema era buscar caminos entre varios puntos de tal forma que equidisten entre ellos formando una región máxima alrededor de cada punto.

En la siguiente figura se entiende mejor la idea:

Si se fijan, las lineas negras intentan pasar justo por el centro entre los puntos formando poligonos alrededor de ellos. A esto se le llama Diagrama de Voronoi.

Descubrí esto viendo aplicaciones a la rápida de la triangulación de Delaunay, la cual he ocupado para eliminar falsas rectas en búsqueda de cuadriláteros teniendo un conjunto de puntos.

Una triangulación es simplemente formar una malla de triángulos uniendo con rectas los puntos de un conjunto de puntos. La condición de Delaunay dice que no debe haber ningún punto en el interior de una circunferencia circunscrita en uno de los triángulos formados, por ejemplo el siguiente caso es correcto:

Pero el siguiente es incorrecto ya que un cuarto punto esta adentro de las circunferencias de los triángulos formados:

Esta triangulación da una solución al problema del diagrama de Voronoi, simplemente se deben unir los centros de las circunferencias de los triangulos formados, esta unión va a formar el polígono que rodea a los puntos tal como se ve en la siguiente figura:

Como ven, no es nada de otro mundo, nada espectacular, pero me parecieron entretenidos estos diagramas y por eso quise escribir sobre ellos, quizás mas adelante escriba sobre los convex hulls cuando lea mas sobre ellos, y quizás ahora al caminar me preocupe de pisar los centros de las circunferencias cuando vea algún conjunto de puntos en el suelo para variar mis juegos con los pies al caminar.

Como algunos se darán cuenta por mis post anteriores, mi trabajo se concentra en la estimación geométrica de la imagen reconocida.

• Puntos Característicos: El primer paso es encontrar features similares en ambas imágenes, lo mas sencillo es utilizar un algoritmo que encuentre esquinas como el método de Harris. En las siguientes imágenes restringí la zona a buscar puntos, y el máximo (solo hasta 7 puntos) ya que mi versión de LINGO sólo me permite hasta 50 variables

• Normalized Cross-Correlation: Con los puntos encontrados, obtenemos la correlación con cada punto de la otra imagen en una ventana de píxeles, yo elegí una ventana de 9×9, el resultado de la correlación nos da un valor entre -1 y 1 que nos dice qué tan parecidas son las ventanas (mientras más cercano a 1 es más similar)
• Matching: Aquí va la parte principal de mi proyecto, donde usé la asignación de tipo Stable Marriage Problem para elegir la correspondencia de puntos según los valores de las correlaciones. El resultado fue el siguiente (las lineas verdes muestran el matching correcto, la roja es un matching equivocado y eliminado):

• Transformación Espacial: Con las relaciones encontradas, calculamos la homografía y transformamos una de las dos imágenes, ahora saqué el promedio de los píxeles en las zonas comunes. El resultado final es el siguiente:

Y eso es todo, como ven bastante sencillo porque obviamente el resultado no fue muy profesional, pero hasta aquí lo considero suficiente, no me quiero especializar en registro de imágenes.

Básicamente, lo que logra es refinar parámetros usando el hessiano, aproximado por un jacobiano de las variables involucradas. Es una variante de la optimización iterativa Gauss-Newton. No explicaré por ahora como funciona el algoritmo porque no tengo tiempo (tengo clases en unos minutos mas), pero mostraré en qué me ha servido.

Como algunos saben, mi principal trabajo está relacionado con visión computacional y estimación geométrica para aplicaciones con realidad aumentada. El siguiente ejemplo es una estimación directa (usando un truco con la homografía) pero con exceso de ruido y algunos parametros mal estimados a propósito:

Como ven el resultado no es preciso, los cubos deberían posicionarse exactamente sobre los 4 puntos negros (la linea roja indica el lado “base” del cubo, es el lado inferior de la imagen reconocida). Ahora con esa estimación inicial, tratamos de refinar los parámetros de pose (posición y rotación) con Levenberg-Marquardt. Con sólo 2 iteraciones llegamos al siguiente resultado:

La primera vez quedé impresionado, no tiene un costo computacional muy alto, y el resultado fue muy preciso (en todas las pruebas que realicé se llegó a una convergencia). Su dificultad de implementación es lo que probablemente lo hace ser poco usado, pero últimamente he pensado en muchos problemas que se podrían llegar a resolver con un refinamiento de parámetros tan óptimo, quizás intente algo para problemas de clasificación en Support Vector Machines, ya que en mi clase de ayer de Machine Learning vimos un problema que se resuelve con el lagrangiano, y quizás pueda llegar a ser mas útil mi amigo iterativo Levenberg-Marquardt si logro hacer un buen diseño del problema.

+ =

Debería haber sacado un promedio de los píxeles comunes entre las imágenes para que no se notara la diferencia de luminocidad… pero bueno, era solo para probar. Ese cuadrado blanco fue puesto a propósito para poder estimar con mejor facilidad la correspondencia de puntos entre las imágenes, y su respectiva relación espacial (u homografía como había escrito anteriormente).

En este artículo se mencionan los 10 algoritmos mas influyentes del siglo pasado, a continuación los menciono:

1. the Monte Carlo method or Metropolis algorithm, devised by John von Neumann, Stanislaw Ulam, and Nicholas Metropolis;
2. the simplex method of linear programming, developed by George Dantzig;
3. the Krylov Subspace Iteration method, developed by Magnus Hestenes, Eduard Stiefel, and Cornelius Lanczos;
4. the Householder matrix decomposition, developed by Alston Householder;
5. the Fortran compiler, developed by a team lead by John Backus;
6. the QR algorithm for eigenvalue calculation, developed by J Francis;
7. the Quicksort algorithm, developed by Anthony Hoare;
8. the Fast Fourier Transform, developed by James Cooley and John Tukey;
9. the Integer Relation Detection Algorithm, developed by Helaman Ferguson and Rodney Forcade; (given N real values XI, is there a nontrivial set of integer coefficients AI so that sum ( 1 <= I <= N ) AI * XI = 0?
10. the fast Multipole algorithm, developed by Leslie Greengard and Vladimir Rokhlin; (to calculate gravitational forces in an N-body problem normally requires N^2 calculations. The fast multipole method uses order N calculations, by approximating the effects of groups of distant particles using multipole expansions)

De esa lista no conocía el 3, el 9 ni el 10.

Como referencias rápidas de los que conozco, el 1 es esencial para simulación, el 2 increiblemente necesario para resolver modelos matemáticos lineales, el 4 para darle sentido al álgebra computacional, el 5 para potenciar los lenguajes de programación, el 6 para resolver montones de problemas algebraicos, el 7 para ordenar datos de manera inteligentemente rápida, y el 8 para aplicaciones en todo donde convenga usar datos en el espacio de frecuencias.

Personalmente, habría agregado el algorítmo Levenberg-Marquardt iteration, a mi parecer es el algoritmo más elaborado para refinamiento iterativo de datos, tiene buena convergencia y no es tan costoso como otros métodos menos eficientes. También me hubiese gustado ver la descomposición de matrices SVD, si bien es cierto que es mas útil el uso de QR, SVD no se queda atrás y yo al menos lo uso bastante. Por último, habria agregado RANSAC no por su influencia histórica, sino porque personalmente me gusta mucho como funciona y aunque no es muy rápido entrega resultados muy robustos.

Les recomiendo que lean el artículo, es bastante interesante.

Y bueno, ¿Qué es una Homography para que me preocupe tanto de cómo decirla en español?

Es una relación matemática que he usado mucho para mi trabajo con estimación de pose en realidad aumentada. Consiste en pasar los puntos (representados en forma homogenea) que se encuentran en un sistema de coordenadas a otro sistema diferente. Esta relación se logra gracias a una Homography Matrix como la siguiente:

Tenemos los siguientes puntos a y b, y su correspondiente Homography Matrix de 9 componentes

Luego, se logra la siguiente propiedad:

Es decir, si tenemos la matriz H podremos pasar cualquier punto de un sistema de coordenadas a otro, encontrar la matriz H es un problema que no voy a abordar (por ahora).

Ese era un ejemplo para mostrar la importancia de la palabra Homography, y de ahora en adelante le seguiré diciendo Homografía como acostumbro hacerlo, por lo tanto dada la similitud de las palabras en español, para mi la palabra Homografía es una Homografía (a no ser que a otra persona se le ocurra una mejor traducción a Homography).