Cerebras Andromeda, una supercomputadora de IA con 13,5 millones de núcleos
Agrandar / Cerebras Andromeda, una supercomputadora de inteligencia artificial con 13,5 millones de núcleos.

El lunes, Cerebras Systems presentó su supercomputadora Andromeda AI con 13,5 millones de núcleos para aprendizaje profundo, informa Reuters. Según Cerebras, Andromeda ofrece más de 1 exaflop (1 billón de operaciones por segundo) de potencia de procesamiento de IA con semiprecisión de 16 bits.

El Andrómeda en sí es un grupo de 16 computadoras Cerebras C-2 conectadas entre sí. Cada CS-2 contiene un chip Wafer Scale Engine (a menudo denominado «WSE-2»), que actualmente es el chip de silicio más grande jamás fabricado, mide aproximadamente 8,5 pulgadas cuadradas y está repleto de 2,6 billones de transistores organizados en 850.000 núcleos.

Cerebras construyó Andromeda por $35 millones en un centro de datos en Santa Clara, California. Está ajustado para aplicaciones tales como modelos de lenguaje grandes y se ha utilizado para trabajos académicos y comerciales. «Andromeda ofrece un escalado casi perfecto a través del paralelismo de datos simple en grandes modelos de lenguaje de clase GPT, incluidos GPT-3, GPT-J y GPT-NeoX», escribe Cerebras en un comunicado de prensa.

El chip WSL2 de Cerebras mide aproximadamente 8,5 pulgadas cuadradas y contiene 2,6 billones de transistores.
Agrandar / El chip WSL2 de Cerebras mide aproximadamente 8,5 pulgadas cuadradas y contiene 2,6 billones de transistores.

cerebro

La frase «escalado casi perfecto» significa que cuando Cerebras agrega más unidades informáticas CS-2 a Andromeda, el tiempo de entrenamiento de la red neuronal se reduce en una «proporción casi perfecta», según Cerebras. Para escalar un modelo de aprendizaje profundo mediante la adición de más poder de cómputo con sistemas basados ​​en GPU, por lo general se pueden ver rendimientos decrecientes a medida que aumentan los costos de hardware. Además, Cerebras afirma que su supercomputadora puede realizar tareas que los sistemas basados ​​en GPU no pueden:

Uno de los primeros usuarios de Andromeda demostró el trabajo imposible de GPU, que logró un escalado casi perfecto en GPT-J a 2500 millones y 25000 millones de parámetros con longitudes de secuencia largas: MSL de 10240. Los usuarios intentaron hacer el mismo trabajo en Polaris, un clúster de 2000 Nvidia A100, y las GPU no pudieron hacer el trabajo debido a las limitaciones de la memoria de la GPU y el ancho de banda de la memoria.

Queda por ver si estas afirmaciones resistirán el escrutinio externo, pero en un momento en que las empresas a menudo entrenan modelos de aprendizaje profundo en grupos cada vez más grandes de GPU Nvidia, Cerebras parece estar ofreciendo un enfoque alternativo.

¿Cómo se compara Andrómeda con otras supercomputadoras? Actualmente, el más rápido del mundo, Frontier, reside en Oak Ridge National Labs y tiene una capacidad de 1103 exaflops con doble precisión de 64 bits. Esta computadora costó $ 600 millones para construir.

El acceso a Andrómeda ahora está disponible para uso remoto por múltiples usuarios. JasperAI, un asistente de redacción comercial, el Laboratorio Nacional de Argonne y la Universidad de Cambridge ya lo está utilizando para la investigación.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí