El presente proyecto realiza una segmentación de imágenes de Marte, adquiridadas por el rover Mars Perseverance de la NASA, mediante el algoritmo de watershed.
### Estructura del notebook
- Carga y visualización de la imagen
- Tranformación de la imagen de RGB a Escala de Grises
- Establecer umbral para la segmentación
- Cálculo de marcadores
- Aplicación del algoritmo Watershed
- Análisis
- Conclusiones
%% Cell type:markdown id: tags:
---
<fontcolor='gray'>
### Imagen
Las imágenes digitales en color están hechas de píxeles. Un pixel es la menor unidad homogénea con color de la imagen, el pixel esta formado por combinaciones de colores primarios como son el **rojo**, **verde** y **azul** conocidos como canales **RGB**.
La imagen puede ser representada por una matriz de dimensiones NxM, donde cada elemento de la matriz es una matriz de 3 componentes, cada componente del elemento contiene los valores para los canales R, G y B de la imagen ([R G B]).
---
</font>
%% Cell type:markdown id: tags:
### Carga y visualización de la imagen
- Para cargar la imagen utilizamos la biblioteca **PIL** de Python diseñada para el manejo y procesamiento de imágenes.
- La imagen es guardada en formato **numpy.ndarray**, que representa una matriz multidimensional. La matriz es de dimensión 1200 x 1648, donde cada elemento de la matriz es un array de 3 componentes. Cada componente del elemento contiene los valores para los canales R, G y B de la imagen.
- La imagen se puede encontrar <ahref="https://mars.nasa.gov/mars2020/multimedia/raw-images/ZL0_0072_0673337731_644EBY_N0032208ZCAM08032_1100LUJ">aquí.</a> El rover Mars Perseverance de la NASA adquirió esta imagen usando su cámara Left Mastcam-Z., Mastcam-Z que son un par de cámaras ubicadas en lo alto del mástil del rover. Esta imagen fue adquirida en mayo. 04, 2021 (Sol 72) a la hora solar media local de 14:00:34.
plt.imshow(Grayscale,'gray')# imprimimos la imagen en escala de Grises.
plt.show()
```
%% Cell type:markdown id: tags:
---
<fontcolor='gray'>
### Segmentación
La segmentación de imágenes divide la imagen en sus partes o regiones, esta técnica permite extraer información de los objetos. La división en partes se basa a menudo en las características de los píxeles de la imagen.
### Algoritmo Watershed
Es una técnica de segmentación de imágenes basada en marcadores, el algoritmo de **Watershed** se fundamenta en el concepto de visualizar una imagen como una superficie topográfica donde los valores de alta intensidad denotan picos y colinas mientras que los de baja intensidad denotan valles (mínimos locales). Esto se puede obtener trazando las coordenadas de la imagen (x, y) en función de sus valores de intensidad.
El algoritmo comienza "inundando de agua" alrededor de la superficie topográfica de la imagen. Cuando el agua fusiona los picos, se construyen barreras para evitar esta fusión, hasta que todos los picos estén bajo el agua. Las barreras resultantes dan la segmentación de picos y valles en la imagen. Este enfoque produce una sobresegmentación debido al ruido o cualquier otra irregularidad en la imagen, por lo que algunos algoritmos han implementado marcadores que especifican cuáles son todos los puntos de valle que se fusionarán y cuáles no.
<imgsrc="imagenes/watershed.png">
</font>
%% Cell type:markdown id: tags:
<fontcolor='gray'>
### Función Watershed de Open CV
Para realizar la segmentación se utilizará la función **cv2.watershed** de la biblioteca libre de visión artificial OpenCV (**cv2**), esta función implementa marcadores para evitar una segmentación excesiva.
Para establecer los marcadores tenemos que etiquetar la imagen en 3 regiones, la primera es la región que estamos seguros de ser fondo, la región que estamos seguros que es un objeto y finalmente la región que desconocemos que tipo de superficie sea, esta última región se la etiqueta con 0. El algoritmo retornará una matriz cuya región que sea etiquetada con -1 es la que corresponde a los límites del objeto.
---
</font>
%% Cell type:markdown id: tags:
### Establecer el umbral para la segmentación
Se establece un umbral en la imagen, esto se realiza para posteriormente determinar los marcadores, el umbral es el valor de píxel con el cual se realizará una división de la imagen en dos zonas, la primera corresponde a los píxeles menores a este umbral y la segunda los píxeles con valores superiores al umbral. Para determinar el umbral es necesario:
- Recortar una sección de la imagen donde se encuentre el objeto que quiere que el algoritmo segmente (divida).
- Realizar una cuantificación de los píxeles presentes en la imagen recortada, para poder elegir un buen umbral, esto se lo puede hacer mediante un histograma.
%% Cell type:code id: tags:
``` python
fig,(ax2,ax1)=plt.subplots(1,2,figsize=(12,4))
ax1.set_title('Histograma de la intensidad de los píxeles')
- El histograma de las intensidades de luminosidad de los píxeles de la imagen nos da una idea de cual es la cantidad de objetos presentes en la imagen y su distribución en la misma.
- Los valores que se encuentran entre los valores [100,250] podrían ser considerados como fondo ya que aquí se encuentra concentrada la mayor cantidad de valores de luminosidad, mientras que los valores que son menores o mayores a este valor podrían ser los objetos.
Ahora concentrémonos en un objeto en específico que sería una roca, para eso recortamos la imagen y la analizamos, para determinar cuál es el umbral.
plt.title('Histograma de la intensidad de los píxeles en imagen recortada')
plt.ylabel('Número de Píxeles')
plt.xlabel('Intesidad del píxel')
plt.hist(gray_total,bins=250)
plt.show()
```
%% Cell type:markdown id: tags:
- El histograma nos muestra para la imagen recortada que los píxeles se dividen en 2 zonas, los píxeles con valores mayores a 125 y menores a este mismo número, por lo que tomar este valor como umbral, sería un buen comienzo para esta imagen, entonces el **umbral = 100**, este umbral nos da una perspectiva de como se encuentran distribuidas las luminosidades en la imagen y cuales píxeles se podrían considerar como fondo, y cuales no, además de lo que ya consideramos anteriormente en qué valores se encontraba el fondo, lo ideal sería elegir a los píxeles correspondientes a rocas como objeto y la arena como fondo, pero en este caso no se puede tomar de esta forma ya que las rocas tienen casi el mismo valor de píxel y algunas zonas corespondientes a fondo podría el algoritmo considerar como objeto.
%% Cell type:markdown id: tags:
### Cálculo de Marcadores
- Utilizaremos la función **cv2.threshold**, dependiendo del umbral ingresado la función genera una imagen de ceros y unos. Si el píxel de la imagen supera el umbral lo reescribe como 1 si el píxel no supera el umbral lo transforma en 0.
- Ahora utilizaremos la función **Morphological Transformations**, ya que en la imagen anterior existen algunos agujeros o ruidos. Esta función es útil para cerrar pequeños agujeros dentro de los objetos en primer plano o pequeños puntos negros en el objeto.
- Aquí utilizamos la función **cv2.dilate**, aumenta el límite del objeto al fondo, el objeto se hace más grande, de esta manera, podemos asegurarnos de que cualquier región de fondo en el resultado sea realmente un fondo, ya que se elimina la región de límite, que se encontro manualmente solamente determinando los valores de los píxeles. Este sera el primer marcador.
%% Cell type:code id: tags:
``` python
kernel=np.ones((1,1),np.uint8)
Mark_int=cv2.dilate(closing,kernel,iterations=1)
Mark_int=Mark_int.astype(np.uint8)
plt.imshow(Mark_int,'gray')
plt.show()
```
%% Cell type:markdown id: tags:
- Ahora encontraremos el segundo marcador, para eso utilizaremos la función **distanceTransform**, en esta operación, las intensidades de nivel de gris de los puntos dentro de las regiones del objeto se cambian por las distancias entre estos y del valor 0 más cercano (límite), a continuación se muestra de una manera gráfica como opera esta función, por lo que la imagen se ve de una forma muy clara en el centro y va degradándose el color a medida que se acerca al límite.
- Para encontrar el segundo marcador, utilizamos la función threshold, por lo que todos los valores de píxeles que sobrepasen el umbral se identifican como objeto y todos los que no lo sobrepasen se consideran como zonas desconocidas (no se sabe si es objeto o fondo).
- Calculamos la diferencia entre los dos marcadores, lo que nos dará como resultado una matriz que es cero en toda la imagen salvo la region donde el algoritmo de watershed va a definir que parte de la imagen representa fodo y que parte representa objeto (franja de algunos píxeles alrededor de los límites ).
%% Cell type:code id: tags:
``` python
Mark_fondo=np.uint8(Mark_fondo)
desconocido=cv2.subtract(Mark_int,Mark_fondo)
plt.imshow(desconocido,'gray')
plt.show()
```
%% Cell type:markdown id: tags:
### Aplicación del algoritmo Watershed
- Finalmente aplicamos la función de **watershed** que encontrará los bordes dentro de la franja en donde no estamos seguros qué parte representa fondo y cual parte representa el objeto.
%% Cell type:code id: tags:
``` python
closing=closing.astype(np.uint8)#cambiamos el tipo de elemento, para que cooncuerde con lo que las funciones esperan
El algoritmo logra segmentar la imagen, de acuerdo a los píxeles con menor luminosidad, que en este caso serían los que corresponden a sombras, todos los píxeles con una luminosidad mayor los considera fondo. El algoritmo depende del umbral y del tipo de threshold que se le asigne, además del parámetro que determina la anchura de la banda donde se aplicará el algortimo Watershed (**0.1 x dist_transform.max()**), estos parámetros pueden se modificados y asi se podrán segmentar otros objetos, como rocas, auque esto puede ser una tarea muy dificil ya que las rocas tienen casi el mismo todo de gris en las imágenes que el fondo (suelo), en la siguiente sección se discutirá más a pronfundidad este hecho.
%% Cell type:markdown id: tags:
### Análisis
Esta sección consiste en aplicar el algoritmo diseñado para diferentes imágenes descargadas del siguiente link
<ahref="https://mars.nasa.gov/mars2020/multimedia/raw-images/">(imágenes)</a> y con diferentes parámetros para estudiar el funcionamiento y la validez del algoritmo para segmentar diferentes objetos en la imagen, el objetivo principal es intentar segmentar e identificar rocas u otros objetos como partes del rover en las imágenes.
- Primero diseñaremos un código que permita redefinir algunos parámetros en el código para el análisis, que son los principales valores que determinan la región que se segmentará, tales como:
- El umbral
- El tipo de **threshold** que se utilizará.
- La distancia que es la amplitud de la banda donde se aplicará el algoritmo watershed.
- El código anterior fue escrito en un archivo segmentacion_fun.py en forma de funciones y parámetros ajustables (umbral, tipo de threshold, y distancia de amplitud). El código es importado al notebook a continuación.
Cambiando los parámetros podemos invertir la forma de segmentación, en este caso se logra identificar las zonas con mayor luminosidad, que para este caso coinciden con las rocas o zonas rocosas dentro de la imagen (zonas iluminadas).
Se utilizó el algoritmo de Watershed con marcadores de la biblioteca OpenCV, para segmentar imágenes del rover Mars Perseverance de la NASA, este algoritmo se basa en la luminosidad de los píxeles para realizar la segmentación, por lo que puede identificar sombras que usualmente se producen por pequeñas elevaciones (rocas) o partes del rover, esto se realizó cambiando los diferentes parámetros dentro de los marcadores utilizados posteriormente en el algortimo de watershed de segmentación, además si se cambiaban los parámetros se podían identificar partes rocosas en el suelo de Marte, este algoritmo funciona si se escogen bien los valores modificables.
