🤔 TOON: Hype ou realmente eficiente?
Muitos devs descartam formatos minimalistas como o TOON dizendo que “economia de tokens não importa”. O problema é que isso ignora a latência. JSON verboso não custa só centavos, custa processamento. Neste post eu mostro alguns testes que fiz locais usando Ruby On Rails e o Ollama, que reduzir ruído sintático e estruturar melhor os dados pode acelerar a inferência. Ou seja: TOON não é só sobre pagar menos; é também sobre responder mais rápido.