Esto solo es una prueba a raíz de un comentario de @seostratega en Twitter. Básicamente la afirmación era.
Usar la API de OpenAI para generar texto en español (o cualquier idioma que no sea inglés) consume más tokens que en inglés…
La pequeña utilidad te permite comprobar rápidamente si esto es cierto, [Cuantos Tokens Arriba] — [Cuales son los tokens abajo.]
Podemos comprobar que el número resultante de tokens gastados para una respuesta/pregunta en GPT3 castellano es muy superior al que «cuesta» en Inglés.
La primera vez que lo ejecutes tarda un poquito 🙂
Total tokens: 0
Algún ejemplo en otros idiomas, la palabra seleccionada es mujer:
English: Woman - 1 token
Spanish: Mujer - 3 token
Woman in Telugu: స్త్రీ - 18 tokens!
Alemán: Frau - 2 Tokens
Francés: femme - 3 tokens
Chino (simplificado) 女人 - 2 Tokens
Árabe 5 tokens: النساء