Page tree

Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

A specific technique for estimating how accurately a model is capable to predict the dataset. 

It assumes that that Source dataset Dataset  is split into two subsets: Training dataset and Validation dataset

The The Training dataset is used to calibrate the model parameters.

The discrepancy between between model values and training dataset values can be low but it does not mean that predicting accuracy of the model on the data outside the training the Training dataset will be the same low. 

This may happen because the model is not unique and a given realization may not be the best across the all data points.

Estimating the accuracy on on Validation dataset which was not a part pf a training provides a better assessment of the model predictability. 

If the model discrepancy on Validation on Validation dataset is close to the model the model discrepancy on Training on Training dataset one can say that a given model has a good predictability.

Splitting the Source dataset into Training dataset and the Source Dataset into Training dataset and Validation dataset can be done in different ways.

...

Formal science / Mathematics / Statistics 

[ Source Dataset ] [ Training dataset ] [ Validation dataset ]



Show If
groupeditors


Panel
bgColorpapayawhip


Expand
titleEditor

В процессе адаптации набора экспериментальных данных некой математической моделью всегда возникает вопрос об доверительных интервалах найденного набора параметров в процессе оптимизации целевой функции невязок модельных и экспериментальных данных. 



Это может быть сделано разными способами.


Некоторые способы заточены на конкретную заду и дают очень быструю и точную оценку доверительного интервала.


Например, в случае задач оптимизации линейного выпуклого функционала.


Однако в ряде случаев модель настолько широка, что специализированного метода просто не существует.


Здесь на помощь приходят универсальные методы, пригодные для функционалов практически любого вида.


Одним из таких универсальных методов является Бутсреп (Bootstrap), или как ее еще называют — методика вытягивания себя за волосы.


Смысл этой методики заключается в том, что экспериментальные данные делятся случайным образом на две выборки: тренировочную и тестовую.


Тренировочные данные используются для настройки модели (путем минимизации целевой функции невязок по тренировочным данным), 


а тестовые для оценки прогнозной точности полученной модели (невязки целевой функции невязок по на тестовой выборке).



Причем этот процесс повторяется несколько раз, с разными разбивками массива данных, причем длина тренировочных и тестовых выборок может меняться 


(например, начиная с соотношения 90 %  — 10 %  до обратного 90 % — 10 % между тренировочной и тестовой выборками.



При каждой реализации модели получается новый набор параметров и соответствующая ему невязка целевой функции.


По итогам, этих упражнений строится график зависимости невязки целевой функции от  каждого значения параметра модели и моделируется распределением Стьюдента.


После этого задается порог целевой функции (вручную или по некому алгоритму, о чем будет рассказано позже) и этот порог отрезает на распределение Стьюдента доверительный интервал определения данного параметра модели.


Чем больше тренировочни-тестовых разбиений реализовано, тем больше статистика модельных реализаций, тем точнее восстанавливается распределение Стьюдента невязок и тем точнее определяются доверительные интервалы параметров модели.



Выбор порога целевой функции часто является эмпирическим.  Наиболее популярным является значение 0.95.


Однако для ряда задач выбор порога можно автоматизировать.


Одним из подходов является  



Определения доверительных интервалов отвечает в частности на фундаментальный вопрос моделирования.


Пусть имеется экспериментальный набор данных и две математические модели М1 и М2.


Обе модели описывают экспериментальный набор  



...