TLDR: Extraer usuarios de GitHub a partir de los seguidores en DEV y guardar en JSON para análisis y visualizaciones usando GraphQL. En este artículo explico el proceso general, las decisiones técnicas y las herramientas que me ayudaron a convertir una idea en datos útiles.
Pensamientos iniciales Ever wonder who is watching Era interesante crear un distintivo de seguidores para mi perfil, pero pronto la idea evolucionó hacia un análisis más profundo de mi audiencia. Quería saber qué tipo de profesionales atraen mis publicaciones, qué lenguajes usan y qué tecnologías predominan entre mis seguidores. Para ello empecé por recopilar datos públicos de DEV y luego profundicé visitando los enlaces de perfil para detectar perfiles de GitHub y sitios personales.
Configuración de la recolección de datos No existe una solución plug and play, hay que ser creativo. DEV ofrece una API para miembros que permite paginar resultados y descargar datos públicos de seguidores. Es importante respetar los límites de per_page y paginar hasta agotar resultados. Tras descargar el JSON con la lista completa de seguidores conviene normalizar los datos y generar salidas personalizadas, como una lista solo con nombres de usuario o un archivo con los perfiles que incluyen enlace a GitHub.
Salidas personalizadas y profundización Con la lista de usuarios con GitHub se puede ejecutar otro scraper o consultar la API de GitHub para obtener repositorios y métricas de lenguaje. Herramientas como cheerio ayudan a navegar el DOM cuando se raspa contenido HTML, aunque en plataformas modernas es habitual que parte del contenido se cargue dinámicamente, lo que obliga a usar la API oficial o técnicas que ejecuten JavaScript. Ten en cuenta los límites de tasa de GitHub y usa un token autenticado para evitar bloqueos al procesar grandes volúmenes.
GraphQL y optimización Al descubrir GraphQL me di cuenta de que se pueden solicitar todos los repositorios de un usuario en una única consulta por usuario, lo que optimiza las rondas de petición y permite extraer métricas agregadas como bytes por lenguaje o conteo de repositorios. Esto facilita transformar datos en indicadores significativos sin almacenar documentos excesivos por cada repositorio.
Herramientas y visualización Durante el proyecto usé cheerio para scrapers básicos, la API de GitHub con autenticación para datos fiables, Rainbow CSV para explorar resultados en VSCode y Chart.js para generar gráficos rápidos. También es habitual volcar resultados a CSV y procesarlos con Power BI o servicios de inteligencia de negocio para obtener dashboards más robustos a nivel corporativo. Si buscas soluciones profesionales de visualización o inteligencia de negocio puedes encontrar más información sobre Power BI en nuestros servicios de Business Intelligence y Power BI.
Lecciones aprendidas y errores comunes Un error típico es no configurar correctamente las variables de entorno o no instalar los paquetes necesarios, lo que provoca falsos fallos y da la impresión de problemas de rate limit cuando en realidad la petición no se estaba autenticando. Otro descubrimiento fue la gran cantidad de metadatos que devuelve cada repositorio, mucha información que puede ser redundante para un análisis de alto nivel.
Sorpresas del análisis En mi caso me sorprendió que entre mis seguidores destacaba el uso del lenguaje C por encima de otros más esperados para un desarrollador frontend. Estos hallazgos pueden orientar contenidos, cursos o servicios que ofrezcas como profesional.
Qué puede hacer Q2BSTUDIO por ti Si necesitas transformar datos en decisiones, en Q2BSTUDIO ofrecemos servicios de desarrollo de aplicaciones y software a medida, integración de soluciones de inteligencia artificial y consultoría en ciberseguridad. Podemos ayudarte a automatizar la recolección y el procesamiento de datos, diseñar agentes IA que analicen audiencias y desplegar dashboards con Power BI o servicios cloud como servicios cloud aws y azure. Con un enfoque en aplicaciones a medida y software a medida adaptamos la solución a tus objetivos y te acompañamos en todo el ciclo, desde la extracción de datos hasta la visualización y gobernanza.
Si te interesa aplicar inteligencia artificial a tus procesos contacta con nuestro equipo especializado en inteligencia artificial para empresas y descubre cómo agentes IA, servicios inteligencia de negocio y estrategias en cloud pueden potenciar tu producto. También ofrecemos servicios de ciberseguridad para proteger tus activos y garantizar cumplimiento en cada etapa.
Conclusión El recorrido desde la idea de un simple badge hasta un análisis completo demuestra que con las APIs adecuadas, autenticación correcta, herramientas como cheerio y GraphQL y visualizaciones con Chart.js o Power BI se puede extraer mucho valor de una comunidad. Si necesitas apoyo técnico para implementar pipelines de datos, soluciones de ia para empresas, servicios cloud aws y azure, o desarrollar aplicaciones a medida, Q2BSTUDIO está listo para ayudarte a convertir insights en resultados.
