Los investigadores de Tokyo Tech ahora han desarrollado un nuevo chip acelerador llamado «Hiddenite» que puede lograr una precisión de última generación al calcular «redes neuronales ocultas» con menos carga computacional. Al usar el diseño de modelo en chip propuesto, que es una combinación de generación de peso y extensión de «supermáscara», el chip Hiddenite reduce drásticamente el acceso a la memoria externa para mejorar la eficiencia computacional.

Los investigadores de Tokyo Tech ahora han desarrollado un nuevo chip acelerador llamado «Hiddenite» que puede lograr una precisión de última generación al calcular «redes neuronales ocultas» con menos carga computacional. Al usar el diseño de modelo en chip propuesto, que es una combinación de generación de peso y extensión de «supermáscara», el chip Hiddenite reduce drásticamente el acceso a la memoria externa para mejorar la eficiencia computacional.

Las redes neuronales profundas (DNN) son una pieza compleja de aprendizaje automático para IA (aprendizaje artificial) que requiere numerosos parámetros para aprender a predecir resultados. Sin embargo, los DNN se pueden «truncar», lo que reduce el esfuerzo computacional y el tamaño del modelo. Hace unos años, la «hipótesis del billete de lotería» tomó por asalto el mundo del aprendizaje automático. La hipótesis establece que un DNN inicializado aleatoriamente contiene subredes que, después del entrenamiento, alcanzan una precisión igual a la del DNN original. Cuanto más grande sea la red, más «boletos de lotería» para una optimización exitosa. Estos boletos de lotería permiten que las redes neuronales dispersas «recortadas» alcancen precisiones equivalentes a las redes «densas» más complejas, lo que reduce la carga computacional general y el consumo de energía.

Una técnica para encontrar tales subredes es el algoritmo de Red Neural Oculta (HNN), que utiliza la lógica AND (donde la salida es alta solo si todas las entradas son altas) en los pesos aleatorios inicializados y una «máscara binaria», denominada » súper máscara”, se utiliza. (Figura 1). La supermáscara, definida por los puntajes más altos del k% superior, etiqueta los enlaces no seleccionados y seleccionados como 0 y 1, respectivamente. El HNN ayuda a reducir la eficiencia computacional desde el lado del software. Sin embargo, la computación de redes neuronales también requiere mejoras en los componentes de hardware.

Los aceleradores DNN tradicionales ofrecen un alto rendimiento pero no tienen en cuenta el consumo de energía causado por el acceso a la memoria externa. Ahora, los investigadores del Instituto de Tecnología de Tokio (Tokyo Tech), dirigidos por los profesores Jaehoon Yu y Masato Motomura, han desarrollado un nuevo chip acelerador llamado «Hiddenite» que puede calcular redes neuronales ocultas con un consumo de energía drásticamente mejorado. “Reducir el acceso al almacenamiento externo es clave para reducir el consumo de energía. En la actualidad, lograr una alta precisión de inferencia requiere modelos grandes. Sin embargo, esto aumenta el acceso a la memoria externa para cargar los parámetros del modelo. Nuestra principal motivación detrás del desarrollo de Hiddenite fue reducir este acceso a la memoria externa”, explica el Prof. Motomura. Su estudio se presentará en la próxima Conferencia Internacional de Circuitos de Estado Sólido (ISSCC) 2022, una prestigiosa conferencia internacional que presenta los aspectos más destacados de los logros en circuitos integrados.

«Hiddenite» significa Hidden Neural Network Inference Tensor Engine y es el primer chip de inferencia HNN. La arquitectura Hiddenite (Fig. 2) ofrece beneficios triples para reducir el acceso a la memoria externa y lograr una alta eficiencia energética. La primera es que ofrece generación de peso en el chip para regenerar pesos usando un generador de números aleatorios. Esto elimina la necesidad de acceder a la memoria externa y almacenar los pesos. El segundo beneficio es la provisión de «extensión de supermáscara en chip» que reduce la cantidad de supermáscaras que el acelerador debe cargar. La tercera mejora que ofrece el chip Hiddenite es el procesador paralelo de cuatro dimensiones (4D) de alta densidad, que maximiza la reutilización de datos durante el proceso de cálculo, mejorando así la eficiencia.

«Los dos primeros factores distinguen al chip Hiddenite de los aceleradores de inferencia DNN existentes», revela el profesor Motomura. “Además, también introdujimos un nuevo método de entrenamiento de redes neuronales ocultas llamado “destilación de puntajes” en el que los pesos de destilación de conocimiento convencional se destilan en los puntajes porque las redes neuronales ocultas nunca actualizan los pesos. La precisión de la destilación de la puntuación es comparable al modelo binario, pero es la mitad del modelo binario”.

Basándose en la arquitectura Hiddenite, el equipo diseñó, fabricó y midió un chip prototipo utilizando el proceso de 40 nm de Taiwan Semiconductor Manufacturing Company (TSMC) (Fig. 3). El chip mide solo 3 mm x 3 mm y maneja 4096 operaciones MAC (multiplicar y acumular) a la vez. Logra una eficiencia computacional de última generación de hasta 34,8 billones o tera de operaciones por segundo (TOPS) por vatio de potencia al tiempo que reduce la cantidad de transmisión del modelo a la mitad que las redes binarizadas.

Estos hallazgos, y su presentación exitosa en un chip de silicio real, seguramente impulsarán otro cambio de paradigma en el mundo del aprendizaje automático, allanando el camino para computadoras más rápidas, más eficientes y, en última instancia, más ecológicas.

referencia

Investigador:

Kazutoshi Hirose, Jaehoon Yu, Kota Ando, ​​Yasuyuki Okoshi,

Ángel López García-Arias, Junnosuke Suzuki, Thiem Van Chu,

Kazushi Kawamura y Masato Motomura

Título de la sesión:

Hiddenite: motor de tensor 4D de inferencia de red oculta 4K-PE que explota la construcción de modelos en chip y logra de 34,8 a 16,0 TOPS/W para CIFAR-100 e ImageNet

Reunión:

4/15 ML Processors LIVE Q&A con demostración 23 de febrero 9:00 a. m. PST

Conferencia:

Conferencia Internacional de Circuitos de Estado Sólido 2022(ISSCC 2022)

Afiliaciones:

Instituto de Tecnología de Tokio, Japón

Acerca del Instituto de Tecnología de Tokio

Como la universidad líder en ciencia y tecnología en Japón, Tokyo Tech está a la vanguardia de la investigación y la educación superior. Los investigadores de Tokyo Tech se destacan en áreas que van desde la ciencia de los materiales hasta la biología, la informática y la física. Fundada en 1881, Tokyo Tech es el hogar de más de 10 000 estudiantes de pregrado y posgrado cada año que se convierten en científicos líderes y algunos de los ingenieros más solicitados de la industria. La comunidad de Tokyo Tech encarna la filosofía japonesa de «Monotsukuri» que significa «ingenio técnico e innovación» y se esfuerza por contribuir a la sociedad a través de una investigación de alto impacto.

https://www.titech.ac.jp/english/


DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí