En Youtube hay varios videos colgados de profesores dando clases de universidad y de colegio sobre diversos cursos. Como muchos he visto varios de estos videos y algunas clases las he terminado y algunas no, a veces no solo por la calidad del video, pero incluso por el contenido. Me pareció interesante analizar tres cursos que ofrece el MIT a través de su proyecto OCW para ver su tasa de finalización, es decir cuantos ven el primer video vs cuantos ven el video “n” y ver como se comportan las vistas.

Hipotesis

Mi hipotesis es que las vistas deben comportarse distribuirse de manera natural, viendo un decremento a una tasa casi fija. El primer video, será el más visto y mientras va avanzando el curso irá bajando progresivamente. Supongo que los videos que tengan una tasa de reducción menor video a video indicará la calidad del curso.

Checklist

• Elegir 3 cursos del MIT OCW en YouTube a analizar
• Obtener las vistas de cada video en el curso
• Graficar las vistas por curso
• Analizar los graficos

Nota: Vamos a seguir un proceso semi-automatizado para obtener las vistas y graficar los resultados.

Eligiendo los curso

Quizá lo más sencillo, entramos a la página de clases de la MIT OCW y elegimos tres:

• MIT 15.S12 Blockchain and Money, Fall 2018
• MIT 14.01 Principles of Microeconomics, Fall 2018
• MIT 9.00SC Introduction to Psychology, Fall 2011

En realidad, no afecta que curso es, pero elegí estos por un interés personal y porque tienen 24 videos cada uno. En realidad podemos usar cualquier lista de reproducción en YouTube.

Obteniendo las vistas

Para obtener las vistas de la lista de reproducción usaremos youtube-dl, una gran herramienta para descargar videos para uso personal de YouTube y cientos de otras webs. Link de Descarga

Si bien youtube-dl fue hecho para descargar videos la herramienta nos permite especificar opciones especiales para solo obtener la metadata.

1

youtube-dl --all-subs --skip-download https://www.youtube.com/playlist?list=PLUl4u3cNGP63UUkfL0onkxF6MYgVa04Fn -o '%(playlist_index)02d-%(view_count)07d'

No es necesario entender lo que hacen las opciones pero si prefieren pueden leer un poco más en el repositorio de youtube-dl. Veamos el resultado del comando:

Perfecto, el primer video coincide con lo que vemos en YouTube. Vamos en buen camino.

Si bien es cierto tenemos las vistas, las tenemos como nombres de archivo, sería mejor si pudieramos tenerlo como una tabla.

Para esto usaremos awk una herramienta de procesamiento muy antigua pero extremadamente poderosa:

1

ls . | awk -v FIELDWIDTHS="2 1 7 7" -v OFS="," '{print $1,$3}' > output.csv

Una vez hecho esto tendremos un archivo CSV (que lo podemos abrir con Numbers o Excel) con las vistas.

Graficando las vistas

Para graficarlo, en realidad podemos usar cualquier herramienta, yo usaré Chart.css para poder mostrarles la data aquí, pero podríamos usar Excel o Numbers.

Definitivamente pareciera que la data se está reduciendo de manera geométrica, calculemos el cambio de video a video en vistas. Actualicemos el comando anterior para incluir el porcentaje de cambio:

1
2
3
4

 ls . | awk -v FIELDWIDTHS="2 1 7 7" -v OFS="," 'BEGIN{prev=1;print "Indice,Vistas,Porcentaje del anterior"}{printf("%d,%d,%2.2f\%\n",$1,$3,($3-prev)/prev*100"%");prev=$3 }' > output.csv
 ls . | awk -v FIELDWIDTHS="2 1 7 7" -v OFS="," 'BEGIN{prev=-1;avg=0;count=0;print "Indice,Vistas,Porcentaje del anterior"}{if (prev==-1){prev=$3*0.5};if($0 == "output.csv"){next};rate=($3-prev)/prev*100;printf("%d,%d,%2.2f\%\n",$1,$3,rate);prev=$3;avg+=(rate-avg)/++count;}END{print avg"%",count}' > output.csv

mkdir resultado && cd resultado && youtube-dl --all-subs --skip-download https://www.youtube.com/playlist?list=PLUl4u3cNGP63UUkfL0onkxF6MYgVa04Fn -o '%(playlist_index)02d-%(view_count)07d' && ls . | awk -v FIELDWIDTHS="2 1 7 7" -v OFS="," 'BEGIN{prev=-1;avg=0;neg_avg=0;count=0;neg_count=0;print "Indice,Vistas,Porcentaje del anterior"}{if (prev==-1){prev=$3*0.5};if($0 == "output.csv"){next};rate=($3-prev)/prev*100;printf("%d,%d,%2.2f\%\n",$1,$3,rate);prev=$3;if(rate == 100){next};avg+=(rate-avg)/++count;if(rate < 0){neg_avg+=(rate-neg_avg)/++neg_count}}END{print "Promedio",avg"%",count; print "Promedio Negativos",neg_avg"%",neg_count}' > output.csv

Graficando el porcentaje podemos sacar varios datos interesantes:

• Solo 8 de los 23 son positivos (34%)
• El video 15 tiene crecimiento increiblemente alto (160%) a comparación del anterior.
• El promedio de decrecimiento es de -9.03% considerando todos los videos.

• Quitando los positivos, en promedio el decrecimiento por video es de -38.71%
• La tasa de finalización, es decir, la fracción de vistas entre el primer video y el último es de 0.66%. Es decir, de cada 1000 personas que ven el video numero 1, solo 7 verán el último.

Resultados de Curso 2:

Siguiendo la misma metodología obtenemos la tabla y grafico para el curso 2:

Tasa: 3.63%

Resultados de Curso 3:

Siguiendo la misma metodología obtenemos la tabla y grafico para el curso 3:

Tasa: 2.59%

Tabulando los resultados de los tres cursos y promediandolos

Conclusiones e Insights

• En promedio obtenemos que la tasa de finalización promedio para los cursos es de tán solo de 2%, es decir 2 de cada 100 personas que inician el curso lo terminan.
• El promedio de decrecimiento promedio es de 8%, siendo los cursos 1 y 3 peores que el promedio.
• El promedio de decrecimiento de solo los videos en negativo es de 30%. Siendo el Curso 1 y 2 los cursos con las peores tasas.

Estos resultados sugieren que:

• El curso 1 es muy popular pero no logra cautivar a los alumnos para terminarlo teniendo 3 veces peor tasa de finalización que el promedio. Viendo el tema (blockchain), tiene sentido.
• El curso 2 es el mejor de los analizados, tiene una promedio en la tasa de decrecimiento mejor que el resto, y la tasa de finalización más elevada. (Microeconomía)
• El curso 3 es un curso que si bien es cierto tiene un decrecimiento promedio elevado, el promedio negativo es muy inferior al promedio de los otros dos cursos analizados.

Eso es todo por hoy, espero que este post les haya parecido interesante, o al menos hayan podido tener un vistazo tras bambalinas en el mundo del analisis de datos por computadora.

Nota sobre la fuente de data: Estos números asumen que 1 vista equivale a una sola persona, (que el usuario no repite el mismo video)

Script completo:

1

mkdir resultado && cd resultado && youtube-dl --all-subs --skip-download https://www.youtube.com/playlist?list=PL44ABC9278E2EE706 -o '%(playlist_index)02d-%(view_count)07d' && ls . | awk -v FIELDWIDTHS="2 1 7 7" -v OFS="," 'BEGIN{prev=-1;avg=0;neg_avg=0;count=0;neg_count=0;print "Indice,Vistas,Porcentaje del anterior"}{if (prev==-1){prev=$3*0.5};if($0 == "output.csv"){next};rate=($3-prev)/prev*100;printf("%d,%d,%2.2f\%\n",$1,$3,rate);prev=$3;if(rate == 100){next}avg+=(rate-avg)/++count;if(rate < 0){neg_avg+=(rate-neg_avg)/++neg_count}}END{print "Promedio",avg"%",count; print "Promedio Negativos",neg_avg"%",neg_count}' > output.csv | cat output.csv | pbcopy

Usamos CSV to Markdown y CSV to HTML para mostrar las tablas