Grafemas en Go

Graphemas en Go

Hace un tiempo me encontré con el problema de diferenciar bytes, runes y grafemas al manejar nombres en tamil y emojis en una aplicación web escrita en Go: una cadena que parecía corta no lo era y al invertirla se generaba texto ininteligible. El problema no era Go, sino asumir qué significa carácter sin más.

Bytes

En Go las cadenas son secuencias inmutables de bytes en UTF-8. Lo que vemos en pantalla no es necesariamente lo que hay por debajo. Por ejemplo len(s) devuelve el número de bytes, no de símbolos visibles. Muchos caracteres tamil ocupan 3 bytes y muchos emojis se representan con múltiples bytes.

Runes

Convertir una cadena a []rune devuelve los puntos de código Unicode. Eso ayuda frente a contar bytes, pero sigue sin coincidir siempre con lo que percibe un usuario. Algunos grafemas se forman combinando varios puntos de código, por ejemplo un carácter base más signos diacríticos.

Grafemas

La biblioteca estándar de Go se queda en runes. Para trabajar con los caracteres visibles tal y como los ve el usuario es necesario usar una librería consciente de grafemas, como github.com/rivo/uniseg. Con uniseg se pueden iterar los graphemes y obtener exactamente las unidades que un humano percibe en pantalla.

Por qué importa

Si tu aplicación maneja nombres, chats o cualquier texto multilingüe, indexar o cortar por bytes puede romper cadenas en caracteres parciales. Contar runes mejora la situación, pero aún puede dividir lo que el usuario considera una sola unidad. Operaciones basadas en grafemas coinciden con la expectativa del usuario. Bugs reales incluyen nombres tamil cortados por la mitad y reacciones con emoji que se rompían por tomar solo un punto de código.

Prácticas recomendadas

Contar puntos de código: utf8.RuneCountInString(s). Contar unidades visibles: iterar grafemas con uniseg. Invertir texto: parsear en grafemas, invertir la slice y unir. Cortar cadenas de forma segura: usar índices que respeten límites de grafema o trabajar con la representación de grafemas en lugar de cortar bytes directamente.

Consejos rápidos

Piénsalo en tres niveles: bytes para la representación interna, runes para puntos de código Unicode y grafemas para lo que el usuario realmente lee en pantalla. Escoge el nivel adecuado según lo que quieras manipular.

Sobre Q2BSTUDIO

En Q2BSTUDIO somos una empresa de desarrollo de software y aplicaciones a medida especializada en soluciones tecnológicas avanzadas. Ofrecemos software a medida, aplicaciones a medida y servicios integrales de inteligencia artificial para empresas. Además somos expertos en ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio y soluciones con power bi. Desarrollamos agentes IA, IA para empresas y plataformas que integran machine learning y análisis avanzado para resolver retos reales de negocio.

Cómo podemos ayudar

Si tu proyecto requiere manejo robusto de texto multilingüe, integración de agentes IA, análisis con power bi, despliegue seguro en servicios cloud aws y azure o consultoría en ciberseguridad e inteligencia de negocio, en Q2BSTUDIO diseñamos soluciones a medida que respetan la complejidad de Unicode y garantizan experiencia de usuario correcta. Contacta con nosotros para crear software a medida que incluya inteligencia artificial, agentes IA y seguridad desde el diseño.

Palabras clave

aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi