El 26 de febrero, según los datos de Jinshi, se entiende que el Cuarto Paradigma ha lanzado la solución de inferencia de extremo de modelo ModelHub AIoT, donde los usuarios pueden implementar fácilmente modelos de destilación de pequeño tamaño como DeepSeek R1, Qwen 2.5, serie Llama 2/3, etc., y lograr la ejecución sin conexión en el extremo. Los usuarios pueden cambiar fácilmente entre varios modelos, teniendo en cuenta la compresión del modelo y el rendimiento de inferencia, lo que resuelve la complejidad de implementación y optimización. La empresa señala que esta solución no solo puede satisfacer las necesidades de los usuarios en cuanto a privacidad y tiempo real, sino que también reduce enormemente los costos de inferencia de grandes modelos de IA.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Fourth Paradigm launches large model inference edge solution ModelHub AIoT
El 26 de febrero, según los datos de Jinshi, se entiende que el Cuarto Paradigma ha lanzado la solución de inferencia de extremo de modelo ModelHub AIoT, donde los usuarios pueden implementar fácilmente modelos de destilación de pequeño tamaño como DeepSeek R1, Qwen 2.5, serie Llama 2/3, etc., y lograr la ejecución sin conexión en el extremo. Los usuarios pueden cambiar fácilmente entre varios modelos, teniendo en cuenta la compresión del modelo y el rendimiento de inferencia, lo que resuelve la complejidad de implementación y optimización. La empresa señala que esta solución no solo puede satisfacer las necesidades de los usuarios en cuanto a privacidad y tiempo real, sino que también reduce enormemente los costos de inferencia de grandes modelos de IA.