La asociación combina la infraestructura CoreWeave acelerada por GPU y el sistema operativo Vast AI. Juntas, las empresas están creando una “nueva clase de arquitectura de datos inteligente” diseñada para respaldar el aprendizaje continuo, conocimientos en tiempo real y procesamiento de datos a gran escala para industrias de misión crítica, según el anuncio.
Vast Data, innovador en almacenamiento con sede en Nueva York, ha llegado a un acuerdo con el proveedor de GPU CoreWeave para superponer el software operativo impulsado por IA de Vast sobre los datos del hiperescalador para proporcionar “acceso instantáneo a conjuntos de datos masivos”.
Juntas, las empresas están creando una “nueva clase de arquitectura de datos inteligente” diseñada para respaldar el aprendizaje continuo, conocimientos en tiempo real y procesamiento de datos a gran escala para industrias de misión crítica, según el anuncio.
“El sistema operativo Vast AI sustenta aspectos clave de cómo diseñamos y entregamos nuestra nube de AI”, dijo en un comunicado Brian Venturo, cofundador y director de estrategia de CoreWeave. “Esta asociación nos permite construir una infraestructura de IA que sea la más eficaz, escalable y rentable del mercado, fortaleciendo la confianza y confiabilidad de la plataforma de datos de la que dependen nuestros clientes para sus cargas de trabajo más exigentes”.
El acuerdo, valorado en 1.170 millones de dólares, se anunció el jueves.
(RELACIONADO: Dell apunta a sus rivales de almacenamiento puro y big data en plena carrera de la IA)
Vast dijo en un comunicado que su almacenamiento definido por software se basa en una arquitectura infinitamente escalable que se puede configurar en entornos de grandes centros de datos que requieren confiabilidad a escala.
“En Vast, estamos construyendo la base de datos para las iniciativas de IA más ambiciosas del mundo”, afirmó Renen Hallak, fundador y director ejecutivo de Vast Data. “Nuestra profunda integración con CoreWeave es el resultado de un compromiso duradero de trabajar codo a codo tanto a nivel empresarial como técnico. Al alinear nuestras hojas de ruta, estamos creando una plataforma de IA que las organizaciones no pueden encontrar en ningún otro lugar del mercado”.
Vast Data se ha convertido en uno de los proveedores preferidos de Nvidia, que también se ha asociado con la empresa para su estructura de datos. Durante una reunión con Hallak el año pasado, el director ejecutivo y fundador de Nvidia, Jensen Huang, elogió a la empresa y dijo que esperaba trabajar con Vast Data durante los próximos “80 años”.
Vast Data ingresó al mercado en 2018 con un producto de almacenamiento definido por software que Arrow o Avnet ensamblaron de acuerdo con las especificaciones para cada orden de compra, dijo a CRN esta semana Howard Marks, cuyo rol en Vast Data es jefe de tecnología.
Marks dijo que esta era la mejor manera de construir un JBOF sobre Fabrics NVMe HA completamente sin un solo punto de falla, que no estaba ampliamente disponible en el mercado en ese momento.
A medida que la compañía ha crecido, ha ampliado su lista de disponibilidad de hardware para incluir servidores x86 estándar de Dell, HPE, Lenovo y SuperMicro, pero el tamaño mínimo del clúster es relativamente grande para obtener el nivel de resiliencia que Vast considera necesario, dijo Marks.
Lo que hizo que el software de almacenamiento de la compañía fuera atractivo, dijo Marks, fue la resiliencia, que garantizaba que los datos de los clientes estuvieran protegidos en todos los servidores hasta el punto de que incluso si algunos servidores fallaban, los datos permanecían disponibles.
Vast Data ahora ha asumido las tareas de “pila superior” en el motor de base de datos, el agente de eventos y otros elementos de almacenamiento que normalmente estaban reservados para proveedores externos especializados en gestionar estos niveles de abstracción.
“Hace dos años, habríamos sido un proveedor de almacenamiento definido por software, pero hemos pasado del almacenamiento”, dijo a CRN. . “ Dijimos, está bien, combinemos la comprensión de qué bloques en qué SSD forman un archivo y qué bloques en qué SSD forman una tabla. En lugar de abstraer una tabla que apunta a una ubicación en un archivo y luego tener un índice separado del archivo que le indique qué SSD es, simplemente omitiremos esa abstracción y entenderemos qué tablas son como entendemos los archivos”.
Dijo que la adición de cargas de trabajo de bases de datos y procesamiento de datos estructurados ha abierto el mercado general al que se dirige Vast para incluir plataformas impulsadas por el marco Hadoop y análisis de código abierto, agregando Snowflake y Databricks a la lista de competidores.
“Ahora también estamos agregando automatización del flujo de trabajo para que cuando se agregue un archivo a esa carpeta, se envíe automáticamente a través de ese flujo de trabajo para que pueda agregarse a su solución RAG para que su chatbot lo sepa en tiempo real”, dijo Marks a CRN. “Y así, toda la automatización de tareas, el agente de eventos habilitado para Kafka y la gestión del clúster de Kubernetes, de modo que nosotros podamos ejecutar las piezas que se ejecutan en el servidor GPU para calcular la vectorización. Y luego la base de datos ahora puede almacenar esos vectores y realizar búsquedas de vectores, por lo que estamos cada vez más vinculados al ecosistema de IA”.
