Cuando se lanza una iniciativa de inteligencia colectiva, sea de crowdsourcing o no, en muchas ocasiones surge la duda de cuan bueno será el resultado obtenido. ¿De verdad un montón de desconocidos, y probablemente no expertos, pueden resolver un problema, realizar una tarea, etc. de manera óptima? ¿Puede la calidad del resultado ser equiparable o superior a la realizada por un especialista?
La experiencia demuestra que en ocasiones sí es así siempre que se den las circunstancias adecuadas. Ya lo dijo James Surowiecki en su libro «The Wisdom of Crowds»:
«En las circunstancias adecuadas, los grupos son notablemente inteligentes, incluso más inteligentes que las personas más inteligentes que lo forman».
De todas formas, el crowdsourcing en concreto no es un proceso mágico y requiere de preparación. Hay que facilitar esas «circunstancias adecuadas». En lo que respecto a la calidad del resultado, hay varias acciones que se pueden tomar para tratar de mejorarlo.
En primer lugar, hay que «pescar en el lugar adecuado». Es cierto que una de las características del crowdsourcing es que es una convocatoria abierta, por lo que cualquiera puede entrar a participar. De todas formas, cuando uno promueve una iniciativa, a parte de la promoción general habitual, lo lógico es promover la iniciativa en grupos de interés determinados: usuarios de Twitter concretos con seguidores de determinado tipo de perfil, foros de determinada temática, etc. Esto ve claramente en las campañas de crowdfunding bien llevadas.
Por otro lado, es importante preparar la iniciativa y velar por su buen funcionamiento ya sea antes, durante y después de la ejecución de la misma.
Qué hacer antes
Las tareas que se pueden llevar a cabo antes de la iniciativa, obviamente no van a trabajar directamente sobre el contenido generado (que todavía no existe), pero sí que permiten preparar el camino, descartar usuarios maliciosos y trabajo de baja calidad.
Hay dos tareas que son genéricas y que son aplicables en cualquier caso:
- La descripción clara y concisa de la tarea a realizar.
- Asegurarse de que los crowdworkers tienen la información/herramientas necesarias que dependan del crowdsourcer para llevar a cabo la tarea sin problemas.
Por otro lado, y dependiendo del tipo de iniciativa planteada, se puede:
- Hacer una tarea previa obligatoria de entrenamiento para que los usuarios sepan qué tipo de tarea se les va a pedir y que les permita prepararse para la tarea real
- Hacer una tarea de evaluación previa que permita al crowdsourcer descartar o aceptar crowdworkers
- Utilizar la experiencia previa si está registrada (el histórico de tareas) para aceptar o descartar usuarios
Qué hacer durante
Durante la realización de la tarea se puede:
- Analizar los resultados descartando aquellos que no cumplan determinados criterios
- Utilizar durante la ejecución de la tarea el mecanismo “Gold Standard”, donde se plantean preguntas básicas que el usuario debería contestar correctamente.
En cuanto al primer punto, un ejemplo es el propuesto por Zhai et al. (2012), donde analizaban el tiempo medio invertido por los usuarios en la realización de las tareas para comprobar si un usuario determinado les estaba dedicándole el tiempo o atención suficiente.
Qué hacer después
Estos métodos permiten unificar resultados de múltiples tareas, generar resultados confiables y decartar resultados indeseados (por su calidad).
Algunos son:
- La decisión de la mayoría (se repite la misma tarea y si las sucesivas realizaciones coinciden, se acepta el resultado)
- La revisión manual de los resultados (método costoso)
- El uso de técnicas de post-procesado basadas en programas informáticos
Referencias:
- Zhai, Z., Kijewski-Correa, T., Hachen, D., & Madey, G. (2012). Haiti earthquake photo tagging: Lessons on crowdsourcing in-depth image classi_cation. In Seventh International Conference on Digital Information Management (ICDIM 2012) (pp. 357{364). IEEE. doi:1109/ICDIM.2012.6360130.