Laboratorio de sistemas de recomendación

Califica películas y entrena en vivo la factorización de matrices: compara popularidad, filtrado colaborativo y el problema del arranque en frío.

Acerca de

Todo servicio de streaming, tienda en línea y red social enfrenta la misma pregunta: entre miles o millones de opciones, ¿cuáles diez debería ver esta persona ahora mismo? Este laboratorio construye las tres respuestas clásicas lado a lado sobre un pequeño catálogo de películas y te deja ver en qué no se ponen de acuerdo.

Qué estás viendo

  • Espacio latente. La factorización de matrices le asigna a cada película y a cada espectador un vector corto de números. El mapa muestra el vector de cada película proyectado sobre sus dos direcciones más importantes. Nunca se le dieron los géneros al modelo, y aun así las películas del mismo color se van agrupando a medida que avanza el entrenamiento.
  • Tus calificaciones. Eres el espectador número 101. Tus estrellas se agregan a los datos de entrenamiento y el modelo se reentrena desde cero.
  • Top 10. Las películas que no has calificado, ordenadas por el método elegido, con la evidencia detrás de cada elección.
  • Error y recall. Qué tan bien predice cada método las calificaciones y recupera las favoritas ocultas que se reservaron fuera del entrenamiento.

Para aprender las ideas a fondo, lee la lección de sistemas de recomendación (en inglés).

Cómo funciona

Popularidad

Cuenta cuántos espectadores le dieron 4 o 5 estrellas a cada película y recomienda lo más alto de esa lista a todo el mundo, quitando lo que cada quien ya calificó. No sabe nada de ti, y aun así es una línea base sorprendentemente difícil de superar, porque la gente de verdad ve más las películas populares.

Filtrado colaborativo ítem-ítem

Para cada par de películas, toma a los espectadores que calificaron ambas, réstale a cada uno su promedio (así un 3 de alguien exigente cuenta como un elogio) y calcula el coseno entre las dos columnas de calificaciones centradas. Los pares con pocos espectadores en común se encogen hacia cero: sim · n / (n + 5). Tu calificación predicha para una película es tu promedio más un promedio, ponderado por similitud, de cuánto por encima o por debajo de tu promedio calificaste a sus vecinas. Es el enfoque que Amazon describió en 2003.

Factorización de matrices

Modela cada calificación como r̂ = μ + b_u + b_i + p_u · q_i: el promedio global, un sesgo personal, un sesgo de la película y el producto punto de un vector de espectador de k dimensiones con un vector de película de k dimensiones. El entrenamiento recorre cada calificación conocida en orden aleatorio y ajusta un poco los parámetros para reducir el error:

e = r − r̂
b_u += η (e − λ b_u), b_i += η (e − λ b_i)
p_u += η (e q_i − λ p_u)
q_i += η (e p_u − λ q_i)

Eso es descenso de gradiente estocástico sobre el error cuadrático más una penalización L2 λ(|p|² + |q|² + b²), la receta que se hizo famosa con el Premio Netflix y que Koren, Bell y Volinsky expusieron en 2009. Una época es una pasada por las aproximadamente 1,250 calificaciones de entrenamiento.

El mapa

Con k mayor que 2 los vectores no se pueden dibujar directamente, así que el mapa muestra las dos direcciones en las que más varían los vectores de las películas (los dos primeros vectores singulares de la matriz de películas, sin centrar, para que el origen conserve su significado). La puntuación predicha de una película para ti depende del producto punto con tu vector, así que las películas que están más lejos en la dirección de tu flecha punteada tienden a puntuar más alto. Los espectadores se dibujan en una escala común ajustada para que quepan en el gráfico.

Evaluación

Antes de entrenar, se aparta el 20% de las calificaciones de cada espectador sintético. Nada en el entrenamiento las ve nunca. Sobre ese conjunto oculto se calculan dos números:

MétricaPregunta que respondeSe usa para
RMSE de prueba¿Por cuántas estrellas se equivoca en promedio la calificación predicha (raíz del error cuadrático medio)?Predecir calificaciones; la métrica del Premio Netflix
recall@10De las películas que este espectador calificó en secreto con 4 o 5, ¿qué proporción llegó a su top 10?Ordenar, que es lo que los usuarios realmente ven

Cómo leer las curvas

El error de entrenamiento siempre baja cuando entrenas más tiempo o subes k: el modelo tiene más libertad para ajustarse a las calificaciones que ve. El error de prueba baja al principio y luego, con una regularización débil, vuelve a subir. Esa subida es sobreajuste. Pon λ en 0 y k en 8 y entrena 300 épocas para verlo con claridad; después sube λ y observa cómo se cierra la brecha.

Offline no es lo mismo que online

Estas son métricas offline sobre datos registrados. Los servicios reales también hacen pruebas A/B en línea, porque un modelo que recupera bien las calificaciones pasadas puede ser peor en lo que importa: que la gente encuentre algo que disfrute y regrese. Consulta la sección de evaluación de la lección (en inglés).

Arranque en frío

El filtrado colaborativo aprende solo de las interacciones. Una película que nadie ha calificado no tiene interacciones, así que no hay nada de qué aprender. Presiona “Agregar una película nueva” y observa cada método:

  • La factorización de matrices nunca actualiza el vector de la película nueva, porque SGD solo toca las películas que aparecen en alguna calificación. Se queda en su diminuto valor inicial aleatorio cerca del origen, así que su predicción para todos es más o menos el promedio global más el sesgo personal de cada quien.
  • Ítem-ítem no tiene ningún espectador que haya calificado la película nueva y alguna otra, así que todas las similitudes son cero.
  • La popularidad la pone en el último lugar, lo que garantiza que nadie la vea, lo que garantiza que siga sin calificaciones. Este círculo vicioso es la razón por la que el arranque en frío es un problema de producto además de uno de modelado.

Ahora presiona “Darle 5 calificaciones”. Cinco espectadores simulados cuyo gusto oculto encaja con ella la califican, el modelo se reentrena y la película se acerca a las que les gustaron a esos espectadores. La misma lógica aplica a los usuarios nuevos: califica una sola película y tu punto en el mapa se ubica con muy poca evidencia; califica seis y se estabiliza.

Prueba esto

  1. 01Mira cómo surgen los génerosPresiona Reiniciar y luego Época varias veces. Al principio los puntos son una nube aleatoria. Sigue avanzando: los colores empiezan a agruparse, aunque al modelo nunca se le dijo ningún género.
  2. 02Cambia de opiniónCarga el perfil "Ciencia ficción y acción", anota tu top 10 y luego califica Titanic con 5 estrellas. ¿Qué recomendaciones cambian y qué motivos dan?
  3. 03Sobreajusta a propósitoPon λ en 0, k en 8 y las épocas en 300. El RMSE de entrenamiento baja casi a cero mientras el RMSE de prueba sube. Después sube λ a 0.2 y compara.
  4. 04Muy pocos factoresPon k en 1. Ahora todas las películas quedan sobre una sola línea, más o menos "cuánto le gusta a la gente". Compara el recall@10 con k = 4.
  5. 05Supera la línea baseEncuentra una configuración en la que la factorización de matrices supere a ítem-ítem en recall@10. ¿La mejor configuración para el RMSE también es la mejor para el recall?
  6. 06Rescata una película nuevaAgrega la película nueva. Califica alto algo de ciencia ficción y revisa en qué lugar queda para ti. Dale 5 calificaciones y vuelve a revisar.