La AI o la Inteligencia Artificial en los smartphones es ahora casi lo mismo que cuando comenzaron a salir los primeros terminales con más de una cámara fotográfica. Raro era que no hubiese salido al mercado una app que mida el rendimiento de la IA de nuestros smartphones.

En los últimos años es cada vez mayor el número de empresas que se centran en la inteligencia artificial (inteligencia artificial) como un medio para que su producto destaque sobre el de la competencia. Los usos de la IA van desde la comprensión de los comandos de voz hasta el reconocimiento de escenarios como los que necesitarán reconocer los vehículos autónomos pasando por la ejecución de órdenes directas. Debido a su creciente popularidad, la AI está de moda y por ello es hora de que se establezca un sistema de medición o benchmark para esta funcionalidad.

AnTuTu, conocida por su popular aplicación comparativas de rendimiento en smartphones, se ha propuesto proporcionar un estándar cuantificable para que todos juzguen la diferencia en el rendimiento de la AI entre las diferentes plataformas. Para establecer las bases para este nuevo ‘benchmark’, AnTuTu ha trabajado con los fabricantes de chips para lanzar una aplicación de evaluación comparativa llamada AI Review, que se centra en medir el rendimiento de la Inteligencia Artificial en los smartphones.

La entrada del blog de AnTuTu sobre AI Review comienza señalando las dificultades para medir algo tan complejo como la Inteligencia Artificial. Actualmente, en el segmento de teléfonos inteligentes, no existe ningún estándar unificado para AI, lo que a su vez ha llevado a una situación en la que cada fabricante de chips tiene su propia comprensión e implementación de la AI. Qualcomm maneja algunas operaciones de inteligencia artificial a través del DSP de Hexagon; El HiSilicon de Huawei lo maneja a través de una NPU independiente; Samsung y MediaTek también manejan las operaciones de AI a través de chips dedicados denominados NPU y APU respectivamente. Esta situación se complica aún más por la sinergia entre el hardware y el software, que es crucial para el rendimiento efectivo de AI. Cada proveedor proporciona su propio SDK para AI: Qualcomm tiene SNPE, MediaTek tiene NeuroPilot, HiSilicon tiene HiAI, etc.

DESCARGA DESDE AQUÍ ANTUTU AI REVIEW

El índice de referencia de AI Review de AnTuTu se divide en dos subcategorías: Clasificación de imágenes y Reconocimiento de objetos. La prueba de Clasificación de imágenes revisa los datos de prueba que comprenden 200 imágenes y se basa en la red neuronal Inception v3, mientras que la prueba de Reconocimiento de objetos analiza un vídeo de 600 fotogramas y se basa en la red neuronal SSD de MobileNet. Estas redes neuronales se traducen a la red neuronal que es compatible con el fabricante a través del SDK proporcionado por el proveedor. Si el chip no es compatible con algoritmos relacionados con la inteligencia artificial, la aplicación de referencia utiliza TFLite para la evaluación comparativa, cuyos resultados AnTuTu advierten como insatisfactorios y poco confiables.

La puntuación de referencia está directamente relacionada con la velocidad y la precisión. Si la precisión se cambia por velocidad, AnTuTu asigna penalizaciones a la puntuación. Esto evitaría el engaño de referencia de la AI que se habría basado simplemente en proporcionar resultados rápidos pero incorrectos.

AnTuTu también ha hecho algunas puntualizaciones sobre el uso de su aplicación. Es poco probable que las plataformas que utilizan el mismo procesador AI tengan grandes diferencias de puntuación, ya que el punto de referencia no solo prueba el rendimiento, sino que se centra en el rendimiento de AI. Samsung aún no ha lanzado su SDK de AI, y HiSilicon está utilizando TFLite para ciertas funciones, lo que implica que sus calificaciones serán más bajas de lo que deberían alcanzar hasta que soluciones este punto. La versión básica de Android del dispositivo también tendrá un efecto en la puntuación, ya que la propia Google ha estado optimizando el soporte de AI en el nivel del sistema.

Incluso a partir de la propia publicación del blog de AnTuTu, está claro que el objetivo de medir el rendimiento basado en AI puede no ser posible simplemente reduciéndolo a un número. Hay muchas variables involucradas en la computación basada en la AI, que está agregando otro nivel de complejidad a la interacción ya compleja entre diferentes soluciones de hardware y software. La singular puntuación numérica que surgiría de una actividad de evaluación comparativa no haría justicia a los matices involucrados en el mundo de la AI. Por ello, debemos de tener muy en cuenta los resultados que arrojen los diferentes terminales, ya que todavía estamos en las etapas relativamente tempranas de la AI, y más aún, de la evaluación comparativa de la AI.

Fuente