@wikipedia


Specific implementation of Cross-Validation modeling when:


This ensures that a final model has the best predictability against random pick on validation data points.

The number of Source Dataset split realizations and percentage of Training dataset / Validation dataset data points are set manually.


See also


Natural Science / System / Model 

Cross-Validation ]

Formal science / Mathematics / Statistics 




В процессе адаптации набора экспериментальных данных некой математической моделью всегда возникает вопрос об доверительных интервалах найденного набора параметров в процессе оптимизации целевой функции невязок модельных и экспериментальных данных. 



Это может быть сделано разными способами.


Некоторые способы заточены на конкретную заду и дают очень быструю и точную оценку доверительного интервала.


Например, в случае задач оптимизации линейного выпуклого функционала.


Однако в ряде случаев модель настолько широка, что специализированного метода просто не существует.


Здесь на помощь приходят универсальные методы, пригодные для функционалов практически любого вида.


Одним из таких универсальных методов является Бутсреп (Bootstrap), или как ее еще называют — методика вытягивания себя за волосы.


Смысл этой методики заключается в том, что экспериментальные данные делятся случайным образом на две выборки: тренировочную и тестовую.


Тренировочные данные используются для настройки модели (путем минимизации целевой функции невязок по тренировочным данным), 


а тестовые для оценки прогнозной точности полученной модели (невязки целевой функции невязок по на тестовой выборке).



Причем этот процесс повторяется несколько раз, с разными разбивками массива данных, причем длина тренировочных и тестовых выборок может меняться 


(например, начиная с соотношения 90 %  — 10 %  до обратного 90 % — 10 % между тренировочной и тестовой выборками.



При каждой реализации модели получается новый набор параметров и соответствующая ему невязка целевой функции.


По итогам, этих упражнений строится график зависимости невязки целевой функции от  каждого значения параметра модели и моделируется распределением Стьюдента.


После этого задается порог целевой функции (вручную или по некому алгоритму, о чем будет рассказано позже) и этот порог отрезает на распределение Стьюдента доверительный интервал определения данного параметра модели.


Чем больше тренировочни-тестовых разбиений реализовано, тем больше статистика модельных реализаций, тем точнее восстанавливается распределение Стьюдента невязок и тем точнее определяются доверительные интервалы параметров модели.



Выбор порога целевой функции часто является эмпирическим.  Наиболее популярным является значение 0.95.


Однако для ряда задач выбор порога можно автоматизировать.


Одним из подходов является  



Определения доверительных интервалов отвечает в частности на фундаментальный вопрос моделирования.


Пусть имеется экспериментальный набор данных и две математические модели М1 и М2.


Обе модели описывают экспериментальный набор