¿Cómo usar drones para mejorar la comunicación entre los coches en las ciudades inteligentes?
Los drones son vehículos aéreos que pueden volar sin necesidad de un piloto humano. Estos aparatos pueden tener muchas aplicaciones, como por ejemplo:
- Tomar fotos y vídeos desde el aire
- Transportar objetos o personas
- Realizar tareas de vigilancia o rescate
- Asistir a la comunicación entre los coches en las ciudades inteligentes
En este post, nos vamos a centrar en esta última aplicación, y vamos a explicar cómo los drones pueden ayudar a mejorar la comunicación entre los coches en las ciudades inteligentes.
¿Qué son las ciudades inteligentes y por qué necesitan drones?
Las ciudades inteligentes son aquellas que usan la tecnología para mejorar la calidad de vida de sus habitantes, optimizar el uso de los recursos y reducir el impacto ambiental. Algunos ejemplos de ciudades inteligentes son:
- Singapur, que usa sensores y cámaras para monitorizar el tráfico, el clima, el consumo de energía y la seguridad
- Barcelona, que usa redes de fibra óptica, wifi y 5G para conectar a los ciudadanos, los servicios públicos y las empresas
- Amsterdam, que usa plataformas digitales para fomentar la participación ciudadana, la movilidad sostenible y la economía circular
Uno de los elementos clave de las ciudades inteligentes son los coches conectados, es decir, los coches que pueden comunicarse entre sí y con la infraestructura urbana, usando redes inalámbricas como el 5G. Estos coches pueden ofrecer ventajas como:
- Mejorar la seguridad vial, al evitar colisiones, alertar de peligros o asistir a la conducción
- Mejorar la eficiencia del tráfico, al coordinar las rutas, los semáforos o los aparcamientos
- Mejorar la experiencia del usuario, al proporcionar información, entretenimiento o servicios personalizados
Sin embargo, la comunicación entre los coches puede ser difícil en algunas zonas de la ciudad, donde hay mucha demanda de datos o donde hay obstáculos que bloquean la señal. Por ejemplo, en las intersecciones de las calles, donde se concentran muchos coches y donde hay edificios, árboles o semáforos que interfieren con la comunicación.
Aquí es donde entran en juego los drones, que pueden actuar como relés, es decir, como intermediarios que reciben y transmiten la información entre los coches. Los drones tienen la ventaja de que pueden volar por encima de los obstáculos, establecer enlaces de línea de vista y moverse de forma flexible según la necesidad.
¿Cómo optimizar la posición y el movimiento de los drones para mejorar la comunicación entre los coches?
Para que los drones puedan asistir a la comunicación entre los coches, es necesario optimizar su posición y su movimiento, de forma que puedan ofrecer la mejor calidad de servicio posible, al mismo tiempo que ahorran energía y se adaptan a los cambios del entorno.
Este problema es muy complejo y dinámico, y requiere de un aprendizaje adaptativo, que pueda aprender de la experiencia y mejorar con el tiempo. Una forma de lograr este aprendizaje es usando el aprendizaje por refuerzo profundo (DRL), que es una rama de la inteligencia artificial que combina el aprendizaje por refuerzo y las redes neuronales profundas.
El aprendizaje por refuerzo es un tipo de aprendizaje que se basa en la recompensa y el castigo, es decir, en premiar o penalizar las acciones que realiza un agente en un entorno. El objetivo es que el agente aprenda a maximizar la recompensa a largo plazo, mediante una política que le indique qué acción tomar en cada situación.
Las redes neuronales profundas son un tipo de modelo matemático que se inspira en el funcionamiento del cerebro
humano, y que puede aprender a procesar datos complejos, como imágenes, sonidos o textos, mediante capas de unidades de cómputo llamadas neuronas.
El DRL combina el aprendizaje por refuerzo y las redes neuronales profundas, de forma que el agente puede aprender a partir de datos de alta dimensión y complejidad, como los que se generan en la comunicación entre los coches y los drones.
Un ejemplo de algoritmo de DRL es el DDPG (Deep Deterministic Policy Gradient), que es adecuado para problemas con estados y acciones continuas, como el de optimizar la posición y el movimiento de los drones. El DDPG usa dos redes neuronales profundas: una que representa la política del agente, y otra que representa el valor de cada estado y acción. El DDPG actualiza estas redes mediante gradientes, que son medidas de la dirección y la magnitud del cambio que se debe aplicar para mejorar el aprendizaje.
¿Qué soluciones basadas en DRL se pueden usar para optimizar la posición y el movimiento de los drones?
Existen diferentes formas de aplicar el DRL para optimizar la posición y el movimiento de los drones, que difieren en el nivel de cooperación y comunicación entre los drones. Se pueden distinguir tres tipos de soluciones: una solución centralizada, una solución distribuida y una solución híbrida.
La solución centralizada consiste en que todos los drones se comunican con un centro de control, que les indica qué posición y movimiento deben adoptar, usando una política global que se aprende mediante DRL. Esta solución tiene la ventaja de que puede coordinar a todos los drones de forma óptima, pero tiene el inconveniente de que requiere mucha comunicación y computación, y puede ser vulnerable a fallos o ataques.
La solución distribuida consiste en que cada drone actúa de forma independiente, usando una política local que se aprende mediante DRL. Esta solución tiene la ventaja de que reduce la comunicación y la computación, y es más robusta y escalable, pero tiene el inconveniente de que puede generar conflictos o ineficiencias entre los drones.
La solución híbrida consiste en que los drones se agrupan en clústeres, y cada clúster tiene un líder que se comunica con el centro de control y con los otros líderes, usando una política global que se aprende mediante DRL. Los demás drones del clúster se comunican con el líder, y siguen una política local que se aprende mediante DRL. Esta solución tiene la ventaja de que combina los beneficios de las soluciones centralizada y distribuida, y es más adecuada para escenarios reales, donde hay diferentes niveles de demanda y complejidad.
¿Cómo se evalúa el rendimiento de las soluciones basadas en DRL?
Para evaluar el rendimiento de las soluciones basadas en DRL, se pueden usar simulaciones, que permiten recrear diferentes escenarios de comunicación entre los coches y los drones, y medir diferentes indicadores, como:
- La calidad de servicio, que se puede medir por el ratio de éxito de transmisión, el retardo o la tasa de datos
- La eficiencia energética, que se puede medir por el consumo de energía o la duración de la batería de los drones
- La adaptabilidad, que se puede medir por la capacidad de los drones de reaccionar ante cambios en el entorno, como el tráfico, el clima o las interferencias
Los resultados de las simulaciones muestran que las soluciones basadas en DRL superan a otros métodos basados en heurísticas o en programación lineal entera mixta (MILP), que son técnicas matemáticas que buscan la solución óptima mediante reglas o restricciones. Los resultados también muestran que la solución híbrida es la que ofrece el mejor rendimiento en términos de calidad de servicio, eficiencia energética y adaptabilidad, y que el algoritmo DDPG es el que mejor se adapta a las características del problema.
¿Qué conclusiones se pueden extraer de este post?
En este post, hemos explicado cómo los drones pueden ayudar a mejorar la comunicación entre los coches en las ciudades inteligentes, usando el aprendizaje por refuerzo profundo para optimizar su posición y su movimiento. Hemos visto que existen diferentes soluciones basadas en DRL, que difieren en el nivel de cooperación y comunicación entre los drones, y que la solución híbrida es la más adecuada para escenarios reales. Hemos visto también que las soluciones basadas en DRL superan a otros métodos en términos de calidad de servicio, eficiencia energética y adaptabilidad, y que el algoritmo DDPG es el más apropiado para este problema.
Esperamos que este post te haya resultado interesante y útil, y que te haya animado a conocer más sobre las ciudades inteligentes, los drones y el aprendizaje por refuerzo profundo. Si quieres saber más sobre este tema, te recomendamos que leas el paper original, que puedes encontrar en el siguiente enlace:
Deep Reinforcement Learning for Unmanned Aerial Vehicle-Assisted Vehicular Networks
.- Curso de especialización en Inteligencia Artificial, Universidad de Buenos Aires, Argentina (2018-2019)
- [con]Neurona #18 - 24 de junio de 2023
- Snowflake en conversaciones avanzadas para adquirir la startup de búsqueda de inteligencia artificial Neeva - 18 de mayo de 2023
- La importancia de la anotación de la tonalidad de piel en la visión por computadora - 16 de mayo de 2023
