Día 1: Configurar el escáner

Guía paso a paso para construir un analizador léxico: Lox, Scanner y Token, generación de tokens y manejo de errores, con foco en IA, rendimiento y seguridad para software a medida.

7 sept 2025 • 2 min read • Q2BSTUDIO Team

Inteligencia-Artificial-

Día 1: Configurar el escáner. Hoy creé las clases Lox, Scanner, Token y TokenType. El trabajo del Scanner es recorrer el código fuente y generar una lista de tokens. Un token es la unidad mínima con significado en un lenguaje de programación e incluye palabras clave, identificadores y literales; por ejemplo, la palabra reservada this en Java se usa para referirse al objeto actual y constituye un token.

Qué construí: el flujo comienza en la clase Lox, que recibe el archivo o la entrada del usuario. A través de la función run se instancia el Scanner, que lee cada lexema unidad cruda del código, intenta asignarle un tipo y produce una lista de tokens con significado. Separé el manejo de errores de la clase Scanner para mantenerla enfocada en el análisis léxico; por ahora los errores incluyen línea, columna y mensaje. La clase Token expone el tipo, el lexema y, cuando aplica, el literal. TokenType es un enum que recoge todos los tipos contra los que se comparan los lexemas. El Scanner mantiene un arreglo de tokens y un desplazamiento interno para saber en qué posición del lexema se encuentra. Mediante una estructura de selección similar a un switch se identifican los tipos de lexema y se agregan los tokens al arreglo. En esta primera iteración solo se contemplan lexemas de un carácter y operadores de comparación.

Qué sigue: ampliar el escaneo a lexemas largos, palabras clave y literales de números y cadenas; además, pulir la gestión de espacios, comentarios y la normalización de errores para facilitar el reporte y las pruebas.

Reflexión: los tokens son los ladrillos del código, como las células en la vida o los átomos en la materia. Aunque rara vez los vemos en acción, recordar que algo complejo y eficiente surge de la cooperación de piezas diminutas resulta inspirador. Construir este intérprete me recuerda valorar el trabajo invisible que hay detrás de cada sistema que funciona bien.

En Q2BSTUDIO somos una empresa de desarrollo de software especializada en crear aplicaciones a medida y software a medida, con un fuerte enfoque en calidad, rendimiento y seguridad desde la base del código. Integramos inteligencia artificial en productos reales, desde asistentes y agentes IA hasta modelos de clasificación y extracción, para que la ia para empresas aporte valor tangible. También ofrecemos ciberseguridad, pentesting, servicios cloud aws y azure, servicios inteligencia de negocio y analítica avanzada con power bi.

Si tu producto necesita análisis léxico, compilación o automatización inteligente, nuestro equipo puede diseñar la arquitectura, construir el pipeline y desplegarlo con buenas prácticas modernas. Descubre cómo potenciamos tus soluciones con inteligencia artificial aplicada y una implementación robusta de extremo a extremo.

A BREAK?

Play for a moment before you go

OUR SERVICES

How we can help you

Artificial intelligence

AI agents, chatbots, and intelligent assistants that automate tasks and serve your customers 24/7 to improve the efficiency of your business.

More info

Software Development

Web, mobile, and desktop applications, intranets, e-commerce, SaaS, and management platforms designed for your company's specific needs.

More info

Cloud services

Migration, infrastructure, managed hosting, high availability, and security on Microsoft Azure and Amazon Web Services to help your business scale without limits.

More info

Cybersecurity and pentesting

Security audits, penetration testing and protection of applications, data and infrastructure on-premise and cloud, with ethical hacking and regulatory compliance.

More info

Business Intelligence

Dashboards and data analysis with Power BI: we integrate your sources, design dashboards and KPIs and turn your data into decisions.

More info

Process automation

We automate repetitive tasks and connect your applications with n8n, Power Automate, Make, and RPA, eliminating manual work and increasing productivity.

More info

Training for Companies

We train your teams in technology with criteria: web development, databases, Git, best practices and security, automation with n8n, artificial intelligence for companies and creation of AI solutions with Azure AI Foundry.

More info

Code Auditing

We audit the code that you, your team or an AI create: we tell you what is good and what to improve, we secure it and make it ready for production, web or app.

More info

AI Image Generation

We create for you the images that your business needs with artificial intelligence: product, networks, advertising, illustration and avatars. You tell us what you want and we deliver it ready to use.

More info

AI Video Generation

We create videos with artificial intelligence for you: promotional, networking, virtual presenters, dubbing and animations. You tell us the idea and we will deliver it assembled and ready to publish.

More info

AI Conversational Avatars

We create conversational avatars with AI – digital humans with a face and voice – that serve your customers and teams with the knowledge of your company, on your website, interactive monitors, WhatsApp or Teams.

More info

Online Marketing and AI

Google Ads, Meta Ads, LinkedIn Ads and AI Engine Positioning (GEO/AEO): we attract customers and make your brand appear where they search for you, also on ChatGPT, Gemini and Perplexity.

More info

Do you have a project in mind?

Tell us your vision and we'll turn it into a software solution. Whatever the scope, we make your idea real.

Live Chat