La locura en el campo de la IA: un país, una norma, una producción de cien mil jin por mu

El mes pasado, la industria de la IA desató una "lucha de animales".

Por un lado está Llama, que es muy apreciado por los desarrolladores debido a su naturaleza de código abierto. Después de investigar el documento y el código de Llama, la compañía eléctrica japonesa desarrolló rápidamente una versión en japonés de ChatGPT, resolviendo el problema del estancamiento de Japón en el campo de la IA.

El otro lado es un modelo grande llamado Falcon. En mayo de este año, Falcon-40B fue lanzado, superando a Llama y alcanzando la cima de la "Clasificación de LLM de código abierto". Esta lista fue elaborada por la comunidad de modelos de código abierto y proporciona estándares para evaluar la capacidad de los LLM. En la clasificación, Llama y Falcon ocupan prácticamente el primer lugar de manera alterna.

Después del lanzamiento de Llama 2, la familia Llama logró superar; pero a principios de septiembre, Falcon lanzó la versión 180B y volvió a obtener un rango más alto.

Curiosamente, los desarrolladores de Falcon no son una empresa de tecnología, sino un instituto de investigación en innovación tecnológica de la capital de los Emiratos Árabes Unidos. Los funcionarios del gobierno han declarado que participan en este campo para desafiar a los jugadores clave.

Al día siguiente del lanzamiento de la versión 180B, el Ministro de Inteligencia Artificial de los Emiratos Árabes Unidos fue seleccionado en la lista de los "100 más influyentes en el campo de la IA" de la revista Time; junto a él, también fueron seleccionados el "padre de la IA" Geoffrey Hinton, Sam Altman de OpenAI, entre otros.

Hoy en día, el campo de la IA ha entrado en una etapa de intensa competencia: los países y empresas con capacidad están desarrollando sus propios modelos de lenguaje grande. Solo en la región del Golfo, hay más de un participante. En agosto, Arabia Saudita compró más de 3000 chips H100 para universidades nacionales, con el fin de entrenar LLM.

Un inversor se quejó: "En su momento menosprecié la innovación en el modelo de negocio de Internet, pensando que no había barreras: la batalla de los cien grupos, la batalla de los cien coches, la batalla de los cien broadcasts; no esperaba que la creación de grandes modelos de tecnología dura aún fuera una batalla de los cien modelos..."

¿Cómo es que la tecnología dura, que debería tener un alto umbral, se ha convertido en un campo en el que todos pueden participar?

Transformer devora el mundo

Ya sean startups estadounidenses, gigantes tecnológicos chinos o jeques petroleros del Medio Oriente, todos ellos pueden agradecer al famoso artículo: "Attention Is All You Need" por su incursión en el campo de los modelos grandes.

En 2017, ocho científicos informáticos publicaron el algoritmo Transformer en este artículo. Este artículo es actualmente el tercero más citado en la historia de la IA, y la aparición del Transformer ha desencadenado esta ola de entusiasmo por la IA.

Todos los modelos grandes actuales, incluyendo la serie GPT que ha causado sensación en el mundo, se basan en la arquitectura Transformer.

Antes de esto, "enseñar a las máquinas a leer" ha sido un problema académico reconocido. A diferencia del reconocimiento de imágenes, cuando los humanos leen, no solo se centran en las palabras y frases actuales, sino que también comprenden en función del contexto.

Las entradas de las primeras redes neuronales eran independientes entre sí, y no podían comprender textos largos ni artículos completos, por lo que a menudo aparecían algunos resultados de traducción absurdos.

En 2014, el científico de Google, Ilya, logró un avance por primera vez. Utilizó redes neuronales recurrentes (RNN) para procesar el lenguaje natural, lo que mejoró significativamente el rendimiento de Google Translate.

RNN propuso el "diseño cíclico", permitiendo que cada neurona reciba tanto la entrada actual como la entrada del momento anterior, lo que le otorga la capacidad de "combinar el contexto".

La aparición de RNN despertó el entusiasmo de investigación en la academia, el autor del artículo sobre Transformer, Ashish Vaswani, también realizó investigaciones en profundidad. Sin embargo, los desarrolladores pronto se dieron cuenta de que RNN tenía defectos graves:

El algoritmo utiliza cálculos secuenciales, aunque resuelve el problema del contexto, su eficiencia de ejecución es baja y le resulta difícil manejar una gran cantidad de parámetros.

El complicado diseño de RNN pronto aburrió a Shazelle. Por lo tanto, a partir de 2015, Shazelle y 7 entusiastas comenzaron a desarrollar un sustituto para RNN, cuyo resultado es el Transformer.

En comparación con RNN, el Transformer tiene dos grandes innovaciones:

Primero, se reemplazó el diseño cíclico de RNN con codificación de posición, lo que permitió el cálculo en paralelo, mejorando significativamente la eficiencia de entrenamiento y permitiendo el procesamiento de grandes datos, llevando a la IA hacia la era de los grandes modelos; segundo, se mejoró aún más la capacidad de comprender el contexto.

Transformer resolvió múltiples defectos de una sola vez, convirtiéndose gradualmente en la solución principal en el campo del NLP, generando la sensación de "si no hubiera nacido el Transformer, el NLP sería una larga noche eterna". Incluso Ilia ha abandonado su propio RNN, optando por apoyar al Transformer.

En otras palabras, el Transformer es la base de todos los grandes modelos actuales, convirtiendo la investigación teórica en un problema puramente ingenieril.

En 2019, OpenAI desarrolló GPT-2 basado en Transformer, sorprendiendo a la comunidad académica. En respuesta, Google lanzó rápidamente una IA más potente llamada Meena.

En comparación con GPT-2, Meena no tiene un avance algorítmico, solo ha aumentado 8.5 veces los parámetros de entrenamiento y 14 veces la potencia de cálculo. El autor del artículo de Transformer, Sam Chasel, se mostró profundamente sorprendido por este enfoque de "apilamiento violento" y escribió una memoria titulada "Meena devora el mundo".

La aparición de los Transformers ha hecho que la velocidad de innovación de los algoritmos fundamentales en la academia se desacelere considerablemente. Elementos de ingeniería como la ingeniería de datos, la escala de cómputo y la arquitectura de modelos se han convertido gradualmente en clave para la competencia en IA; cualquier empresa tecnológica con cierta capacidad técnica puede desarrollar grandes modelos.

Por lo tanto, el científico de la computación Andrew Ng propuso en una conferencia en la Universidad de Stanford: "La IA es un conjunto de herramientas que incluye el aprendizaje supervisado, el aprendizaje no supervisado, el aprendizaje por refuerzo y la inteligencia artificial generativa actual. Todas estas son tecnologías generales, similares a otras tecnologías generales como la electricidad y el internet."

Aunque OpenAI sigue siendo el líder en LLM, la firma de análisis de semiconductores Semi Analysis considera que la competitividad de GPT-4 proviene principalmente de soluciones de ingeniería; si se abre, cualquier competidor podría replicarlo rápidamente.

El analista espera que otras grandes empresas de tecnología puedan desarrollar pronto modelos grandes que sean comparables en rendimiento a GPT-4.

Un foso construido sobre vidrio

Hoy en día, la "guerra de los cien modelos" ya no es una metáfora, sino una realidad objetiva.

Los informes relacionados muestran que, hasta julio de este año, el número de modelos grandes en el país ha alcanzado 130, superando los 114 de Estados Unidos, logrando una ventaja competitiva; casi no hay suficientes mitos y leyendas para que las empresas de tecnología nacionales los utilicen como nombres.

Fuera de China y Estados Unidos, muchos países más ricos también han logrado esencialmente "un país, un modelo": además de Japón y los Emiratos Árabes Unidos, están el modelo Bhashini liderado por el gobierno de India, y el HyperClova X creado por la empresa de internet surcoreana Naver.

Esta escena recuerda la época pionera de Internet, donde la burbuja estaba por todas partes y la "capacidad monetaria" lo decidía todo.

Como se mencionó anteriormente, el Transformer ha convertido los grandes modelos en un problema puramente de ingeniería; mientras haya talento, capital y hardware, el resto se deja a los parámetros. Sin embargo, la reducción de la barrera de entrada no significa que todos puedan convertirse en gigantes de la era de la IA.

El "conflicto animal" mencionado al principio es un caso típico: a pesar de que Falcon superó a Llama en el ranking, es difícil decir cuánto impacto tuvo en Meta.

Como todos saben, las empresas que comparten sus logros de investigación lo hacen no solo para compartir los avances tecnológicos con la sociedad, sino también con la esperanza de estimular la inteligencia colectiva. A medida que profesores de diversas universidades, instituciones de investigación y pequeñas y medianas empresas continúan utilizando y mejorando Llama, Meta puede aplicar estos resultados en sus propios productos.

Para los grandes modelos de código abierto, una comunidad de desarrolladores activa es su principal ventaja competitiva.

Desde que se estableció el laboratorio de IA en 2015, Meta ha establecido principios básicos de código abierto; Zuckerberg, que comenzó con las redes sociales, comprende mejor la importancia de "mantener relaciones con el público".

Por ejemplo, en octubre, Meta organizó un evento llamado "Incentivo para Creadores de IA": los desarrolladores que utilicen Llama 2 para resolver problemas sociales como la educación y el medio ambiente tienen la oportunidad de recibir una financiación de 500,000 dólares.

Hoy en día, la serie Llama de Meta se ha convertido en un referente de los LLM de código abierto.

A principios de octubre, en el ranking de los 10 mejores LLM de código abierto, 8 de ellos están desarrollados sobre Llama 2, todos utilizando su protocolo de código abierto. Solo en esta plataforma, ya hay más de 1500 LLM que utilizan el protocolo de código abierto de Llama 2.

Por supuesto, mejorar el rendimiento como Falcon no está mal, pero actualmente la mayoría de los LLM en el mercado aún tienen una diferencia notable con GPT-4.

Por ejemplo, hace poco, GPT-4 ocupó el primer lugar en la prueba AgentBench con una puntuación de 4.41. AgentBench es un estándar lanzado conjuntamente por la Universidad Tsinghua, la Universidad Estatal de Ohio y la Universidad de California en Berkeley, utilizado para evaluar las capacidades de razonamiento y toma de decisiones de los LLM en un entorno de generación abierta multidimensional, donde las tareas incluyen sistemas operativos, bases de datos, grafos de conocimiento, batallas de cartas y otras 8 tareas en diferentes entornos.

Los resultados de la prueba muestran que Claude, en segundo lugar, solo tiene 2.77 puntos, lo que sigue siendo una diferencia notable. En cuanto a esos LLM de código abierto tan ruidosos, sus resultados en las pruebas suelen estar alrededor de 1 punto, que es menos de una cuarta parte de GPT-4.

Hay que saber que GPT-4 fue lanzado en marzo de este año, y esto es el resultado de medio año de esfuerzo por parte de la competencia global. La razón de esta diferencia es el equipo de científicos de alto nivel de OpenAI y la experiencia acumulada en la investigación de LLM a lo largo del tiempo, lo que les permite mantener una posición de liderazgo.

En otras palabras, la capacidad central de los grandes modelos no son los parámetros, sino la construcción del ecosistema (código abierto) o la pura capacidad de inferencia (código cerrado).

Con la creciente actividad de la comunidad de código abierto, el rendimiento de los diferentes LLM podría converger, ya que todos están utilizando arquitecturas de modelos y conjuntos de datos similares.

Otra pregunta más intuitiva es: aparte de Midjourney, parece que ningún otro gran modelo ha logrado ser rentable.

Ancla de valor

En agosto de este año, un artículo titulado "OpenAI podría declararse en bancarrota a finales de 2024" llamó bastante la atención. El tema principal del artículo se puede resumir en una frase: OpenAI está quemando dinero demasiado rápido.

El texto menciona que, desde el desarrollo de ChatGPT, las pérdidas de OpenAI se están ampliando rápidamente, con una pérdida de aproximadamente 540 millones de dólares solo en 2022, y solo pueden esperar a que los inversores de Microsoft paguen.

El título del artículo, aunque sensacionalista, revela la situación de muchos proveedores de grandes modelos: un grave desbalance entre costos e ingresos.

Los altos costos han llevado a que actualmente solo NVIDIA gane mucho dinero gracias a la inteligencia artificial, quizás también Broadcom.

Según la consultora Omdia, Nvidia vendió más de 300,000 unidades de H100 en el segundo trimestre de este año. Este es un chip de IA que tiene una eficiencia muy alta en el entrenamiento de IA, y las empresas tecnológicas y las instituciones de investigación de todo el mundo están compitiendo por comprarlo. Si apilamos estas 300,000 unidades de H100, su peso equivale al de 4.5 aviones Boeing 747.

El rendimiento de Nvidia también se disparó, con un crecimiento de ingresos del 854% interanual, lo que sorprendió enormemente a Wall Street. Cabe mencionar que actualmente el precio del H100 en el mercado de segunda mano ha sido especulado entre 40,000 y 50,000 dólares, mientras que su costo de materiales es de solo alrededor de 3,000 dólares.

El alto costo del poder de cálculo se ha convertido en un obstáculo para el desarrollo de la industria en cierta medida. Sequoia Capital realizó una estimación: se espera que las empresas tecnológicas de todo el mundo gasten 200 mil millones de dólares al año en la construcción de infraestructura para grandes modelos; en comparación, los grandes modelos solo pueden generar hasta 75 mil millones de dólares en ingresos al año, lo que deja un déficit de al menos 125 mil millones de dólares.

Además, a excepción de algunas raras como Midjourney, la mayoría de las empresas de software, después de incurrir en enormes costos, aún no han encontrado una forma clara de obtener ganancias. Especialmente el desempeño de los dos líderes de la industria, Microsoft y Adobe, ha sido algo decepcionante.

Microsoft y OpenAI colaboraron en el desarrollo de una herramienta de generación de código AI llamada GitHub Copilot. Aunque cobra una tarifa mensual de 10 dólares, Microsoft en realidad podría perder 20 dólares debido a los costos de las instalaciones, y los usuarios intensivos incluso podrían hacer que Microsoft pierda 80 dólares al mes. A partir de esto, se puede suponer que el Microsoft 365 Copilot, que tiene un precio de 30 dólares, podría tener pérdidas aún mayores.

Del mismo modo, Adobe, que acaba de lanzar la herramienta Firefly AI, también ha introducido rápidamente un sistema de puntos complementario para evitar que los usuarios hagan un uso excesivo que podría llevar a pérdidas para la empresa. Una vez que los usuarios superan la asignación mensual de puntos, Adobe reducirá la velocidad del servicio.

Es importante saber que Microsoft y Adobe ya son gigantes del software con escenarios de negocio claros y una gran cantidad de usuarios de pago existentes. Mientras tanto, la mayoría de los grandes modelos con parámetros acumulados todavía tienen como principal escenario de aplicación el chat.

No se puede negar que, sin la aparición de OpenAI y ChatGPT, esta revolución de la IA probablemente no habría ocurrido; pero en la actualidad, el valor que conlleva el entrenamiento de grandes modelos probablemente necesita un signo de interrogación.

Además, a medida que la competencia homogénea se intensifica y hay cada vez más modelos de código abierto en el mercado, el espacio disponible para los proveedores de grandes modelos puramente será posiblemente más pequeño.

El éxito del iPhone 4 no se debe al procesador A4 de 45 nm, sino a que puede jugar a Plantas vs Zombies y Angry Birds.