La Réplica y la falsa validez de un modelo econométrico [Martin, JM]

Mg. José-Manuel Martin Coronado

Profesor Principal

Instituto de Econometría de Lima

www.institutoeconometria.com

Si bien en el instituto se trata de decir que no es recomendable que se haga réplicas de manera operativa, igual los alumnos/investigadores noveles lo hacen, como prueba de madurez investigativa, más allá de que a veces sus profesores universitarios se lo exijan. 

Ya se sabe que las réplicas son una forma de fiscalización de las investigaciones hechas por terceros, en un momento anterior. Por ejemplo, un investigador que se interesa en un tema, alguien lo hizo antes, en otro contexto, en otro momento ó en otra realidad. 

Sin embargo, existe el interés por hacer réplicas, bajo la premisa que realizarlo implica que el investigador está haciendo algo idóneo, que sabe las técnicas; y lo segundo, es que, lograrlo o conseguirlo, implica que el autor de la investigación originaria ha hecho algo correcto. 

En realidad, lamentablemente no es eso. Solamente quiere decir, que el experimento que se hace en segundo momento, es igual o similar que el experimento anterior (original). No quiere decir que el experimento sea válido. Simplemente quiere decir que se ha logrado hacer un experimento similar, es decir una especie de laboratorio, y éste ha conseguido un resultado equivalente.

La validez de los estudios no es como en el caso de la física o la química, en el sentido de que si se hace dos veces, quiere decir que es cierto o válido, porque lamentablemente existen tantos elementos del contexto o circunstanciales que pueden hacer muy artificial este experimento. Entonces, esa premisa de que una réplica exacta o cuasi exacta implica que el modelo originario era bueno y que el investigador replicante es bueno como econometrista, son cosas que no van de la mano. 

Lo que sí es importante al momento de hacer réplicas es identificar cuál es el proceso completo que ha seguido el investigador/a originario/a. A veces, pues, los autores no indican el proceso metodológico que aplican, ni las transformaciones que utilizan ni los supuestos subyacentes a las variables que han tomado ni los parámetros calibrados. A veces lo dicen o no, y si lo dicen no dicen por qué. Por ejemplo, dicen que han calibrado el parámetro theta con un valor de 0.15, pero no dicen porqué o si lo dicen afirman que lo obtuvieron de un estudio de un autor XYZ, mundialmente conocido, y por lo tanto afirman que es per se válido. Ello, obviamente, no es así. 

Muy aparte de ello, algunos autores no dejan rastro para hacer esas réplicas y obviamente el investigador novel tiene intentar encontrar algo parecido y buscar esa equivalencia en los resultados. No obstante, en el camino es donde están los problemas. ¿Por qué? Por ejemplo, si se quiere usar una llave para una cerradura diferente que no le corresponde. Si no encaja, la costumbre común es hacer que encaje. Esta mala costumbre es uno de los primeros errores que se van a cometer como investigadores. Es algo indebido. Sin embargo la tendencia, la presión social o institucional, el sesgo de confirmación van a sugerir incentivar a que se haga eso. 

¿Y cuál es el marco de referencia, objetivo o benchmark, que “justificaría” ex-post este tipo de manipulaciones? Obtener el resultado del paper original, bajo la presunción de que dicho paper es válido. Entonces, básicamente “todo vale” con tal de obtener lo que tuvo el paper original, aunque en realidad eso claramente no debe ser así.

Lo más saludable, y es la manera en que se hace originalmente, es que el investigador originario publica su data, su código y su proceso de modelamiento. Y al hacerlo, básicamente, lo que debe realizar el replicador es incorporar esta información dentro de su paquete estadístico, pulsar “ejecutar” y obtener, en teoría, el mismo resultado del paper original. Eso es una réplica, para eso nació. Lo otro no es técnicamente una réplica, sino una extensión de un paper de sus elementos o alcances a una realidad ó tiempo distinto. 

Resumiendo, si el investigador obtiene un resultado igual al del paper que deseó replicar no quiere decir que el paper sea válido ni que se hayan hecho técnicas econométricas válidas, ya que puede haber sido simplemente un ajuste o una manipulación de sesgo de confirmación. ¿Y si no sale? Debe preguntarse por qué ha ocurrido esto: Culpa del creador del paper originario o culpa del investigador, aunque no tiene por qué ser automáticamente éste último. Es decir, puede ser que haya habido manipulación manifiesta por parte del creador del paper original. 

Esta es una discusión interesante, polémica y muy de actualidad. La econometría no es una ciencia exacta, ni algo unánime, ni tiene esa naturaleza, a pesar de lo que muchos de los profesores universitarios mainstream lo digan así. Lamentablemente, es falso decir, que una buena réplica permite validar un modelo econométrico.