RESUMEN CAPITULO 10 EXPERIMENTACIÓN: BUSCANDO EL PASO DE SOLUCIONES
INTRODUCCIÓN
Mario Useche – Camilo Moncayo
El propósito de este capítulo es analizar los procedimientos de búsqueda en el espacio de la solución y los medios por los cuales los escenarios alternativos se pueden comparar. El capítulo comienza describiendo la naturaleza de la experimentación de la simulación. Esto se describe en términos de la forma en que las simulaciones se ejecutan y los medios por los cuales los escenarios para la experimentación se identifican.
Después de esto, hay una discusión sobre cómo los resultados de un experimento de simulación debe ser analizada. Esto proporciona una base importante para poder comparar escenarios alternativos en la búsqueda del espacio de soluciones. La discusión a continuación, pasa a cubrir tres áreas fundamentales en relación a la búsqueda del espacio de soluciones:
- La comparación de los resultados de dos o más escenarios diferentes.
- Los métodos para buscar el espacio de soluciones que abarcan los métodos informales, diseño experimental, meta modelo y optimización.
- El análisis de sensibilidad.
- La naturaleza de la experimentación con la simulación
Los experimentos con simulación pueden tomar varias formas. Estos se describen aquí como dos partes: interactivos y experimentos por lotes, y la comparación de las alternativas y la búsqueda de la experimentación.
Experimentación por lotes e interacción
Se debe tener cuidado en no dejar que los experimentos interactivos lleven demasiado peso en la formación de una comprensión del sistema y las opiniones acerca de las soluciones a los problemas. Debido a que la simulación se ejecuta en frente del usuario, la longitud de ejecución es probable que sea relativamente corta. Como tal, el usuario probablemente sólo ve una foto pequeña de las circunstancias posibles y los resultados son poco probable que sea estadísticamente significativa.
Los experimentos por lotes se llevan a cabo mediante el establecimiento de los factores experimentales y dejando el modelo a postularse para un predefinido de longitud de ejecución (o de un evento específico) y para un número determinado de repeticiones. Esto no requiere ninguna acción por parte del usuario del modelo por lo que la pantalla está normalmente apagada. Esto también mejora la velocidad en ejecución del modelo.
La experimentación y Comparación de alternativas de búsqueda
Cuando se comparan las alternativas donde hay un número limitado de escenarios para ser comparados. Estos escenarios se conoce a menudo al comienzo del estudio de simulación, por ejemplo, puede haber tres diseños alternativos de fábrica.
Mientras tanto, en la experimentación de búsqueda no hay escenarios predefinidos. En su lugar, uno o más factores experimentales se varían hasta alcanzar un nivel óptimo. Por ejemplo, el objetivo puede ser llegar a un rendimiento meta o para lograr un nivel óptimo de servicio al cliente, equilibrando el coste de los recursos con el costo de las perdidas.
La comparación de alternativas de búsqueda y la experimentación no son mutuamente excluyentes. De hecho, un estudio de simulación podría implicar una comparación de alternativas predefinidas y también un poco de búsqueda de un objetivo u óptima.
Análisis de los resultados de un escenario único
Se realizó experimentos de simulación con el fin de determinar el rendimiento del modelo, que se mide por los valores de las respuestas. Para cada respuesta de dos medidas son generalmente de interés: el promedio (estimaciones puntuales) y la variabilidad.
Las estimaciones puntuales
El nivel medio de una respuesta más comúnmente se mide por su media. Si una simulación podría ser ejecutada por un tiempo infinito, entonces sería posible obtener un valor exacto de la media para cada respuesta. Debido a que los experimentos de simulación proporcionan sólo una muestra de datos de salida, es importante que un intervalo de confianza para cada media se informe. Un intervalo de confianza proporciona información sobre el rango dentro del cual la media población tiene la expectativa de ser falsa.
Este enfoque no puede utilizarse con datos de una larga salida, sin embargo, puesto que es probable que los datos están correlacionados (intervalos de confianza se basan en la suposición de que las muestras son independientes).
La mediana de la estimación y el cuantil
Otra medida del rendimiento medio es la media. Más en general, puede ser que desee para estimar cuantiles, es decir, el nivel de rendimiento que se puede lograr con una probabilidad dada. La mediana es simplemente el cuantil 0,5, y la parte superior e inferior de los cuartiles de 0,25 y 0,75, respectivamente. En lugar de proporcionar sólo un único valor para un cuantil, es útil para calcular un intervalo de confianza basado en la muestra de los datos obtenidos a partir de la simulación.
Las medidas de la variabilidad
En la mayoría de los sistemas de operaciones de un nivel inferior de la variabilidad se prefieren, ya que es más fácil para que coincida con los recursos a los niveles de demanda. De hecho, un peor promedio con baja variabilidad puede ser seleccionado con preferencia a un promedio mejor con alta variabilidad.
Aparte de la creación de histogramas de los datos de salida, las medidas útiles de la variabilidad son la desviación mínima, máxima y estándar. Sea consciente de los valores extremos al declarar el mínimo y máximo, de lo contrario estas medidas pueden ser engañosas.
Comparando las alternativas
Al comparar escenarios alternativos al usuario, el modelo debe ser capaz de determinar si una alternativa es mejor que otra. Esto no es simplemente un caso de comparar los valores medios de las respuestas clave para ver cuáles son los mejores. Tomemos, por ejemplo, el caso en que dos escenarios (A y B) se comparan, la respuesta clave es el rendimiento diario.
Si los datos han sido generados a partir de sólo unas pocas repeticiones y no hay mucha variación en los resultados, esto le da poca confianza en que la diferencia sea significativa. Sin embargo, se han realizado muchas repeticiones y la desviación estándar es baja, puede haber más confianza en que la diferencia sea real.
Un enfoque más riguroso se basa en la formación de intervalos de confianza para la diferencia entre los resultados.
La comparación de dos escenarios
El uso de la desigualdad de Bonferroni es bastante eficaz, siempre y cuando el número de escenarios sigue siendo pequeño. Como aumenta la cantidad de escenarios, el número de intervalos de confianza puede convertirse rápidamente en inmanejable, sobre todo si una comparación completa de todos los escenarios se requiere.
La hoja de cálculo usado para comparar dos escenarios también se puede utilizar para comparar múltiples escenarios. El usuario puede introducir los resultados de repeticiones para cada par de escenarios y obtener el intervalo de confianza correcto ajustando el nivel de importancia de acuerdo con la desigualdad de Bonferroni.
Elegir el mejor de los casos
Más allá de la comparación de escenarios, hay un evidente interés en la identificación del mejor grupo de escenarios. Al nivel más simple se puede lograr mediante la inspección de los resultados medios de cada escenario.
Más allá de la comparación de los medios y el uso de intervalos de confianza para las diferencias, existen métodos estadísticos para elegir el mejor de los casos conocidos como métodos de clasificación y selección.
Buscar Experimentación
Debido a que existe el potencial de tener muchos escenarios (factor / nivel de combinaciones) en la búsqueda de experimentación, muy a menudo no es posible simular cualquier escenario único en el tiempo disponible para determinar que cumplan con el objetivo requerido o dar un resultado óptimo.
Diseño experimental: identificar los factores experimentales que tienen más probabilidades de conducir a mejoras significativas, lo que reduce el total de los factores / nivel de combinaciones a analizar.
Meta modelos: ajustar un modelo a la salida de la simulación (un modelo de un modelo). Debido a que el modelo ajustado se ejecuta mucho más rápido que la simulación, muchos más de los factores / nivel de las combinaciones puede ser investigado.
Optimización: realizar una búsqueda eficaz de las combinaciones de factores / nivel, tratando de identificar la combinación óptima.
Para nuestros propósitos, sólo una breve descripción se da de los métodos para abordar estas cuestiones. Aunque estos enfoques se describen como temas separados, debe recordarse que se superponen unos con otros y que los enfoques pueden ser utilizados en combinación durante la experimentación.
Enfoques informales para buscar la experimentación
No obstante que hay un cuerpo significativo de la teoría en la experimentación de búsqueda, la evidencia anecdótica sugiere que la mayoría de la experimentación de simulación se realiza de manera informal. La falta de uso de métodos formales, probablemente, los resultados de la necesidad de aplicar la estadística no primaria cuando los emplean.
Los métodos informales para buscar experimentación se clasifican en tres categorías que se relacionan estrechamente con los mencionados anteriormente:
1. Identificar los factores importantes experimentales (similar al diseño experimental)
2. El desarrollo de una comprensión del espacio de soluciones (similar a meta modelado)
3. Búsqueda de factores / nivel de combinaciones de manera eficiente (similar a la optimización)
Diseño de experimentos
El diseño experimental actúa como una forma de identificar factores importantes experimentales, es decir, aquellos factores que los cambios son más propensos a producir el resultado deseado. Es un método formal para llevar a cabo la experimentación preliminar. Como tal, el diseño experimental puede ser valioso, especialmente en las primeras etapas de la experimentación, para la identificación de escenarios que deben ser simulados.
Diseños factoriales fraccionarios se aplican cuando hay demasiados factores que permitan a toda experimentación con cada combinación de factores. Un número limitado de combinaciones de factores se elige y se sacan conclusiones a partir de un análisis de los resultados.
Metamodelado
Un metamodelo es un modelo de un modelo, en nuestro caso un modelo de la salida de la simulación. Debido a que el metamodelo es normalmente un modelo analítico que se ejecuta mucho más rápido que la simulación. Es, por tanto, posible investigar escenarios muchos más con un metamodelo que con la propia simulación. La desventaja es que el metamodelo es una aproximación a la salida de la simulación y por lo tanto los resultados que proporciona no son tan precisos. También existe la sobrecarga de crear el metamodelo.
Optimización
En la optimización de la simulación, el objetivo es encontrar la combinación de factores que ofrece el mejor valor para una respuesta, que es el valor máximo o mínimo. El problema puede ser pensado en términos similares a los métodos estándar de optimización matemática. En primer lugar, hay una cierta función objetivo a optimizar, por lo general, el costo, beneficio, rendimiento o servicio al cliente. En segundo lugar, hay un conjunto de variables de decisión que se pueden cambiar; en simulación estos son los factores experimentales. Finalmente, hay una serie de limitaciones en el que las variables de decisión se pueden cambiar, lo que se expresa en términos de la gama dentro de la cual los factores experimentales pueden ser alterados.
Análisis de Sensibilidad
En el análisis de sensibilidad de las consecuencias de los cambios en las entradas del modelo se evalúan. En este contexto, los insumos del modelo se interpretan de manera más general que sólo los factores experimentales e incluyen todos los datos del modelo. Si hay un cambio significativo en la respuesta (el gradiente es empinada), entonces la respuesta es sensible al cambio en la entrada. Si hay poco cambio (el gradiente es poco profunda), entonces la respuesta es insensible a los cambios.
Todo esto puede proporcionar información útil tanto para el usuario del modelo y los clientes mediante la mejora de su comprensión del modelo. El último es particularmente importante para que el cliente entienda cómo los pequeños cambios pueden afectar a la solución propuesta para el problema planteado por el estudio de simulación.
Conclusiones
Este capítulo describe cómo se llevan a cabo experimentos de simulación y cómo los resultados deben ser reportados. Los métodos para la comparación de escenarios alternativos y se describen métodos para buscar en el espacio de soluciones se discuten. Las áreas clave y los métodos que se identifican son los siguientes:
1. La naturaleza de la experimentación de simulación
2. El análisis de los resultados: los intervalos de confianza para las estimaciones de la letra el método estándar, con repeticiones múltiples lotes y los medios de método para un largo plazo y medidas de variabilidad.
3. Comparación de las alternativas: pares-t del intervalo de confianza para la comparación de dos alternativas, ajustado por la desigualdad de Bonferroni cuando más de dos escenarios se están comparando.
4. La experimentación de búsqueda informal: la identificación de importantes factores de experimentación, el desarrollo de la comprensión del espacio de soluciones y la búsqueda de los factores de combinaciones de manera eficiente.
5. La experimentación formal de búsqueda: diseño experimental metamodelado, y optimización.
6. El análisis de sensibilidad
No hay comentarios:
Publicar un comentario