Esto es aún más importante en investigaciones donde la independencia de variables es el resultado sustantivo de interés. Este escenario es frecuente en estudios donde se infiere que algún proceso básico es inconsciente. @mavadillo.bsky.social y Alicia Franco-Mtnez 🐦‍🔥 conocen muy bien este tema...

¿Qué podemos hacer ante este problema? Varios autores como Dora Matzke, Jeff Rouder, Julia Haaf o Nathaniel Haines han hecho un trabajo excelente al desarrollar modelos jerárquicos bayesianos para recuperar la correlación entre efectos. Disfruté mucho aprendiendo de todos ellos.

Aunque todos ellos buscan estimar mejor las correlaciones, ¿por qué detenernos ahí? ¿Por qué no descomponer esta matriz en factores comunes y unicidades, como en psicometría? Además, eso nos informaría de qué tarea mide mejor el proceso común con... ¡Los pesos factoriales!

Estas preguntas son las que han impulsado este proyecto, pero no soy el primero en pensarlo ni en aplicarlo. Para utilizar estos modelos, los investigadores suelen calcular el efecto experimental de cada persona y, después, ajustan el modelo a estos datos. Dejo dos ejemplos aquí:

Ejemplo del cálculo del efecto experimental por sujeto: Cada persona responde a 100 ensayos de dos condiciones experimentales. Calculamos, para cada persona, la media de los 100 ensayos en cada condición. Al restar ambas medias en cada sujeto obtendremos la medida experimental.

Veamos qué tal funciona calcular así los efectos con una breve simulación: - 300 sujetos - 6 tareas - 100 ensayos por condición - 2 factores comunes (ρ = 0.50) - Tau-equivalente (λ = 0.70) - 1000 réplicas - Fiabilidad de los efectos: 0.50 (este valor es empíricamente informado)

Resultados: 1. Siempre se infraestima λ 2. ρ es insesgada, pero bastante ineficiente. 3. El paralelo (entre otros) infraestima la dimensionalidad latente. 4. El ajuste es perfecto. Visto esto, necesitamos un modelo factorial que utilice los datos sin agregar, ensayo a ensayo...

Muy recientemente, Mahbod Mehrvarz y Jeff Rouder han desarrollado e implementado en JAGS su propia versión del modelo factorial psicométrico para tareas experimentales. Sin embargo, su interés se centra en recuperar la matriz de correlaciones entre los efectos con mayor precisión

Su trabajo es un excelente punto de partida para explotar todo el potencial de la psicometría en el mundo experimental, y ese es el objetivo de mi trabajo. ¿Qué cosas voy a hacer en mi proyecto? A continuación, os presento los objetivos del proyecto de menos a más desafiantes.

1. De JAGS a Stan. Stan utiliza el algoritmo Monte Carlo Hamiltoniano en lugar del algoritmo de Gibbs. Este método tiene la ventaja de poder diagnosticar problemas que pasarían desapercibidos en JAGS, mejorando la fiabilidad y precisión de las estimaciones (McElreath, 2020)

2. Solventar la indeterminación factorial Cuando el modelo de Mehrvarz y Rouder no restringe a las correlaciones a ser positivas, el valor de los pesos factoriales está indeterminado. Esto impide su uso, pues su valor estimado (media posterior) será cero. x.com/RicardoRey_95/…

3. Programación eficiente Una crítica habitual (e imprecisa) a Stan es que es más lento que JAGS. Por ello, generalizaremos la lógica que utilizaron Haines et al. (2023) para programar sus modelos jerárquicos. Dejo aquí algo más de información sobre esto. x.com/RicardoRey_95/…

4. Distribución de los tiempos de respuesta. Aunque el modelo de Mehrvarz y Rouder asume una distribución gaussiana para los tiempos de respuesta, probablemente nadie ha visto a los tiempos de respuesta seguir una distribución normal. x.com/RicardoRey_95/…

Por ello, el trabajo generalizará los modelos para otras distribuciones. En concreto: - Gamma - Lognormal - Shifted-lognormal - Exgaussian Esto permitirá estudiar la estructura latente inter-sujetos describiendo mejor la naturaleza de la variable dependiente.

5. Ilustración empírica. De nada sirve este trabajo si la gente no puede beneficiarse de él. Por ello, ilustraremos cómo estimar estos modelos utilizando R. Estos son los objetivos que recogía el proyecto cuando lo presenté. Sin embargo, hay tres cosas más que voy a hacer.

6. Modelos exploratorios, semi-exploratorios y confirmatorios. Mehrvarz y Rouder presentan modelos completamente exploratorios con varios factores con un posible problema de identificación. Se solventará este detalle y se permitirá especificar la estructura teórica latente.

7. Dimensionalidad ¿Cuántos factores latentes subyacen a las tareas experimentales? Esta es una de las grandes preguntas para las que aún no hay respuesta. Afortunadamente, el ganador de la ayuda Julio Olea en 2022 (@SkeptPsych) tiene un muy buen artículo sobre este tema... 😉😉

8. Ajuste del modelo a los datos La ventaja de la estimación bayesiana es que permite cuantificar la incertidumbre en torno a cualquier parámetro, pero esto no nos permite saber si el modelo ajusta a los datos. Este es el punto más lejano del trabajo (y acepto sugerencias 🙏🙏)

youtube.com/@reme-invesinv… Estreno de las vídeo-cápsulas: III Jornada de Emocionate con los datos. Universitat València Unitat d'Igualtat UV UCC+i UV AEMCCO

Cerramos la temporada por todo lo alto! 🥳 El lunes día 30 de junio tendremos a Alicia Franco-Mtnez 🐦‍🔥 para que nos hable de su estudio multi-lab, con colaboración adversarial y en formato Registered Report! Únete para que te mandemos el recordatorio! forms.gle/FuK2FeNGKgbfxw…