he elegido dos proyectos que no se si serán la mejor opción para estos casos, pero su concepto me parece muy interesante como solución para estas empresas que en un futuro cercano necesitarán tener en su empresa un servidor de procesamiento y modelos propios alojados dentro de su empresa.

Estos dos proyectos son Tinybox, un servidor de computación que cuenta con un framework personalizado para aprovechar al máximo su potencial.

Tinybox

Tinybox es un servidor con aspecto de ordenador de toda la vida, pero con unas características excepcionales e idóneas para mover modelos de IA para múltiples usuarios.

Uno de los retos del hardware para procesamiento de IA es el precio y stock de las H100 de Nvidia y la dificultad para hacer funcionar múltiples GPUs por tu propia cuenta. 

Cualquiera que haya configurado un sistema SLI sabrá todos los requisitos e inconvenientes que surgen al intentar hacer funcionar dos tarjetas gráficas de forma eficiente. Pues bien, Tiny Box funciona con 6 tarjetas gráficas, probablemente RX 7900 XTX (aún no está decidido al 100%). 

Este es uno de los avances que han sido posibles gracias a novedades en otros campos del hardware, en concreto de los procesadores, ya que Tinybox funciona con el procesador AMD EPIC, con 128 carriles PCIe. Después de tomar los correspondientes carriles para almacenamiento y red, nos quedan los justos para poner a trabajar las 6 tarjetas gráficas.