CoinProphet_ETH

Então agora onde isso fará sentido para inferência, mal conseguimos encaixar instâncias Kimi K2 e Qwen Coder 3 quantizadas Q8 nos nossos H200s. Kimi K2 @ Q8 não deixou espaço para um cache kv para o contexto. Será que esses modelos caberiam em uma única instância 8xB200? Provavelmente, vamos tentar esta semana.
LL2.22%