La mayoría de los científicos de datos optimizan MAP@K, Recall, NDCG, pero ¿estas métricas realmente mejoran las recomendaciones?
En Lucklytics, vamos más allá de las métricas, asegurando un verdadero compromiso y retención de usuarios. Aquí está la razón por la que reducimos MAP en un 3x y obtuvimos mejores resultados.
🎯 El problema: Cuando un alto MAP falla a los usuarios
Optimizar MAP@10 debería mejorar las recomendaciones, ¿verdad? No siempre.
❌ Problema: Los modelos favorecen los éxitos comerciales y no consideran el contexto del usuario.
❌ Resultado: Las recomendaciones se vuelven genéricas, reduciendo la participación.
📌 Ejemplo: Un usuario ve Aladdin. Un modelo con alto MAP sugiere:
1️⃣ Un drama de guerra
2️⃣ Una película de acción aleatoria
3️⃣ Un blockbuster popular
¿Por qué? Sesgo de popularidad – los elementos más vistos dominan, incluso si no son relevantes.
📌 Paso 1: Combatir el sesgo de popularidad
🔍 La mayoría de los conjuntos de datos de recomendación siguen una distribución de ley de potencia – unos pocos elementos dominan el sistema.
📊 ¿Cómo detectarlo?
✅ Comparar la salida del modelo con un recomendador basado en popularidad.
✅ Si más del 50 % de los resultados coinciden, tienes un sesgo.
En Lucklytics, probamos la intersección de popularidad – si más del 40 % de las recomendaciones coinciden con un modelo ingenuo de popularidad, ajustamos el sistema.
🛠️ Paso 2: Optimizar para la serendipia
🔹 Serendipia = Recomendar contenido inesperado pero relevante.
🔹 Los modelos enfocados en MAP → Contenido genérico y repetitivo.
🔹 Los modelos de serendipia → Sugerencias más diversas y atractivas.
📌 Pero demasiada serendipia puede ser contraproducente.
⚠️ Demasiados elementos desconocidos → Los usuarios pierden interés.
En Lucklytics, encontramos el equilibrio entre:
✅ Recall sin sesgo de popularidad (elimina los 100 elementos más recomendados)
✅ Mean Inverse User Frequency (MIUF) (favorece el contenido menos popular)
✅ Intersección de popularidad controlada (evita la dominancia del contenido viral)
🔄 Paso 3: El poder de la evaluación visual
🚫 Las métricas por sí solas no salvarán tu modelo. Un sistema con alto MAP aún puede fallar en la práctica.
👀 ¿Solución? Pruebas visuales
En lugar de depender solo de números, Lucklytics revisa manualmente las recomendaciones para diferentes tipos de usuarios:
📌 Usuarios nuevos (Cold Start)
📌 Usuarios de nicho (gustos específicos)
📌 Usuarios generales (preferencias amplias)
🔬 Consejo profesional: Realiza pruebas A/B comparando con recomendaciones seleccionadas por expertos – ¿un crítico de cine recomendaría lo mismo?
🏆 El enfoque equilibrado de Lucklytics en sistemas de recomendación
Después de cientos de pruebas, descubrimos que:
🚫 Alto MAP y más del 60 % de intersección de popularidad → Demasiado genérico.
🚫 Demasiada serendipia → Contenido de nicho que los usuarios ignoran.
✅ MAP ~0.045, Recall 0.11, Intersección de popularidad < 15 % → Recomendaciones equilibradas y personalizadas.
🎯 Conclusión: El mejor sistema de recomendación no es el que tiene el MAP más alto, sino el que mantiene a los usuarios comprometidos.
🚀 Lucklytics: Transformando datos en crecimiento
En Lucklytics, vamos más allá de las métricas – construimos sistemas de recomendación orientados a resultados para una experiencia de usuario real.
✅ Reducimos el sesgo de popularidad
✅ Equilibramos MAP, Recall y Serendipia
✅ Usamos evaluación visual y pruebas en el mundo real
🔗 ¿Quieres optimizar tu sistema de recomendación? Hablemos: www.lucklytics.com