Una estrategia de comercialización", dijo Gómez a VentureBeat por correo electrónico. "Nos reunimos con varios proveedores de Cloud y sentimos que Google Cloud estaba en la mejor posición para satisfacer nuestras necesidades"
La decisión de Cohere de asociarse con Google Cloud refleja los desafíos logísticos de desarrollar grandes modelos de lenguaje. Por ejemplo, el modelo Megatron 530B de Nvidia lanzado recientemente se entrenó originalmente en 560 servidores Nvidia DGX A100, cada uno con 8 GPU Nvidia A100 de 80 GB. Microsoft y Nvidia dicen que observaron entre 113 y 126 teraflops por segundo por GPU mientras entrenaban Megatron 530B, lo que pondría el costo de entrenamiento en millones de dólares. (Una calificación de teraflop mide el rendimiento del hardware, incluidas las GPU).
La inferencia, en realidad ejecutar el modelo entrenado, es otro desafío. En dos de sus costosos sistemas DGX SuperPod , Nvidia afirma que la inferencia (por ejemplo, autocompletar una oración) con Megatron 530B solo toma medio segundo. Pero puede tardar más de un minuto en un servidor local basado en CPU. Si bien las alternativas en la nube pueden ser más baratas, no lo son dramáticamente: una estimación fija el costo de ejecutar GPT-3 en una sola instancia de Amazon Web Services a un mínimo de $ 87,000 por año.
El rival de Cohere, OpenAI, entrena sus grandes modelos de lenguaje en una “supercomputadora de inteligencia artificial” alojada por Microsoft, que invirtió más de mil millones de dólares en la compañía en 2020, de los cuales aproximadamente 500 millones de dólares vinieron en forma de créditos de cómputo de Azure.
PNL asequible
En Cohere, Google Cloud, que ya ofrecía una gama de servicios de PNL, gana un cliente en un mercado que está creciendo rápidamente durante la pandemia. Según una encuesta de 2021 de John Snow Labs y Gradient Flow, el 60% de los líderes tecnológicos indicaron que sus presupuestos de PNL crecieron al menos un 10% en comparación con 2020, mientras que un tercio, el 33%, dijo que su gasto aumentó en más del 30%. . "Estamos dedicados a apoyar a empresas, como Cohere, a través de nuestra oferta de infraestructura avanzada para impulsar la innovación en la PNL", dijo el director de gestión de productos de Google Cloud AI, Craig Wiley, a VentureBeat por correo electrónico. “Nuestro objetivo es siempre proporcionar las mejores herramientas de canalización para los desarrolladores de modelos de PNL. Al unir la experiencia en PNL de Cohere y Google Cloud, podremos brindar a los clientes algunos resultados bastante extraordinarios ".
Se proyecta que el mercado global de PNL tendrá un valor de $ 2.53 mil millones para 2027, frente a $ 703 millones en 2020. Y si la tendencia actual se mantiene, una parte sustancial de ese gasto se destinará a la infraestructura en la nube, lo que beneficiará a Google Cloud.
[Fuente]: venturebeat.com
Luo, M.( 17 de Noviembre de 2021).Tags, Google Sydney. [Fotografía]. Modificado por Carlos Zambrado Recuperado de unsplash.com
