Научный журнал
Международный журнал прикладных и фундаментальных исследований

ISSN 1996-3955
ИФ РИНЦ = 0,580

ОЦЕНИВАНИЕ С ПОМОЩЬЮ ЭЛЛИПСОИДОВ ПАРАМЕТРОВ ЛИНЕЙНОЙ РЕГРЕССИИ ПРИ ОГРАНИЧЕНИЯХ НА ВЕКТОР ВХОДНЫХ ФУНКЦИЙ

Астапов В.Н. 1
1 ГОУ ВО «Самарский государственный технический университет»
В процессе исследования проведена постановка задачи сходимости алгоритмов эллипсоидального оценивания, когда на входные функции в уравнении регрессии накладываются ограничения. Для этого рассмотрены алгоритмы для построения так называемых эллипсоидальных оценок Eк параметров m*. Эти оценки имеют вид многомерных эллипсоидов. Для решения поставленной задачи, в случае ограничений на входные функции, требуется указать условия, налагаемые на векторы zk, при которых для последовательности оценок, генерируемых с помощью любого алгоритма из рассматриваемого класса, имел место предел. Также указаны условия сходимости, при данных ограничениях и рассмотрены доказательства решения данной задачи. Рассмотрена задача определения поправки, то или иное ее решение может быть выбрано исходя из некоторых специфических дополнительных соображений, учитывая, что эта задача в общем случае имеет не единственное решение. Приведен алгоритм вычисления поправок (изучающих добавок). В качестве примера рассмотрена задача, оценивая для уравнения при размерности n = 2 и равенстве вектора m* = (12, – 3). Помеха моделировалась с помощью генератора псевдослучайных чисел, равномерно распределенных в интервале [–20, 20]. Точность оценивания 0,25 была достигнута в первом случае на шаге итерации k = 39, во втором – на шаге k = 137. Таким образом, чем жестче ограничения на величину добавки, тем меньше скорость сходимости. Заметим, что при ∆ = 0 алгоритм может не сходиться.
алгоритм
эллипсоидальные оценки
линейная регрессия
многомерные системы
сходимость
изучающая поправка
входные функции
ограничения
1. Матвийчук О.Г. Эллипсоидальное оценивание трубок траекторий управляемых импульсных систем с коническим ограничением на управление // Вестник ТГУ. 2015.
Т. 20, вып. 5. С. 1306–1309.
2. Ширяев В.Д. Масштабируемость эллипсоидального метода оценивания множеств достижимости линейных систем // Программные системы: теория и приложения. 2011. № 2 (6). С. 53–60.
3. Воронков В.С. Эллипсоидальная оценка области устойчивости систем стабилизации неустойчивых объектов при ограниченном управлении // Фундаментальные проблемы теоретической и прикладной механики. Вестник Нижегородского университета им. Н.И. Лобачевского. 2011. № 4 (5). С. 2094–2095.
4. Астапов В.Н., Бакан Г.М., Сальников Н.Н. Оценивание с помощью эллипсоидов параметров линейной регрессии при линейных ограничениях на вектор входных переменных // Автоматика. 1993. № 1. С. 28–34.
5. Поляк Б.Т., Назин С.А. Оценивание параметров в линейных многомерных системах с интервальной неопределенностью // Проблемы управления и информатики. 2006. № 1. С. 1–14.
6. Бакан Г.М. Фильтрация в условиях нестатистически заданной неопределенности // Автоматика. 1980. № 2. С. 13–21.
7. Маликов А.И. Эллипсоидальное оценивание состояния дискретных систем управления с помощью матричных систем сравнения // Изв. вузов матем. 2004. № 1. С. 53–69.
8. Бакан Г.М., Волосов В.В., Сальников Н.Н. Адаптивное управление линейным статическим объектом по модели с неизвестными параметрами // Кибернетика. 1984. № 2. С. 63–68.
9. Кунцевич В.М., Лычак М.М. Синтез оптимальных и адаптивных систем управления. Игровой подход. Киев: Наук. думка, 1985. 248 с.

Памяти моего учителя, профессора Г.М. Бакана посвящается

Одна из важнейших задач теории управления состоит в эффективном построении областей достижимости или их аппроксимаций для изучаемых динамических систем. Для линейных систем, как показано в [1], хорошо разработана техника эллипсоидального оценивания областей достижимости сверху и снизу. Где рассматривается задача оценивания множеств достижимости управляемых динамических систем, описываемых дифференциальными уравнениями с импульсным управлением и неполной информацией о начальных данных.

Работа [2] посвящена решению задачи масштабируемости эллипсоидального метода оценивания множеств достижимости линейных систем. Задача решается с помощью эллипсоидального метода оценивания множества достижимости, а именно, построением внешних оценок.

Особенности задач управления неустойчивыми объектами рассматриваются многими как отечественными, так и зарубежными авторами. Основной особенностью ограниченного управления неустойчивым объектом является ограниченность области притяжения (асимптотической устойчивости) стабилизируемого состояния в фазовом пространстве системы. Нахождение границ области устойчивости стабилизируемого состояния для нелинейных систем в общем случае является сложной задачей. Преодоление указанной трудности состоит в нахождении оценки области устойчивости в виде эллипсоида и условий достижения его максимальных размеров [3].

Решение данных задач заключается в обеспечении сходимости используемых алгоритмов оценивания параметров с помощью эллипсоидов.

Так в работе [4] рассматривалась сходимость алгоритмов оценивания с помощью эллипсоидов в задаче оценивания параметров линейной регрессии, при линейных ограничениях на вектор входных переменных. Там, в частности, было показано, что сходимость можно обеспечить за счет преднамеренного искажения входных сигналов.

В статье [5] рассмотрена задача параметрического оценивания для линейных многомерных систем с интервальной неопределенностью в данных. Где для нахождения интервальных оценок невыпуклых информационных множеств системы использован алгоритм, основанный на вычислении интервальных решений для интервальных систем линейных алгебраических уравнений с квадратной матрицей.

В данной работе рассматриваются вопросы сходимости алгоритмов эллипсоидального оценивания в условиях, когда на входные функции в уравнении регрессии накладываются ограничения.

Рассмотрим уравнение линейной регрессии

ast01.wmf (1)

где число yk и вектор zk значений входных функций (ast03.wmf – евклидова норма вектора) предполагаются известными в каждый момент k дискретного времени, ast04.wmf – вектор неизвестных (оцениваемых) параметров (Rn – n-мерное евклидово вещественное пространство), Т – символ транспонирования. Неизвестная величина (помеха) ξk предполагается ограниченной

ast05.wmf, (2)

где ck ≥ 0 – известное число. Вектор zk ограничен.

ast06.wmf, (3)

где Z – выпуклое компактное множество в Rn.

Априорно задано, что вектор m* принадлежит некоторому ограниченному множеству E0. Без ограничения общности будем полагать, что это множество является эллипсоидом

ast07.wmf, (4)

где вектор ast08.wmf (априорная оценка вектора m*) и симметрическая матрица ast09.wmf считаются известными.

Приведенных здесь исходных данных достаточно для построения так называемых эллипсоидальных оценок Eк вектора параметров m*. Эти оценки имеют вид многомерных эллипсоидов

ast10.wmf, (5)

таких, что

ast11.wmf. (6)

При этом ast12.wmf, где ast13.wmf – многомерный объем эллипсоида Е.

В (5) – ast14.wmf – центр симметрии эллипсоида, Hk – положительно определенная ast15.wmf – матрица. Эти определяющие оценку Ek величины вычисляются рекуррентно в соответствии с тем или иным алгоритмом эллипсоидального оценивания [6, 7].

Рассмотрим класс или множество подобных алгоритмов, определяемых соотношениями

ast16.wmf, (7)

ast18.wmf, (8)

где начальные значения m0 и H0 равны соответствующим параметрам априорного эллипсоида (4). В (7) и (8) γk, βk и введенные ωk – числовые параметры, в общем случае функционально связанные с переменными yk, uk, ck, mk-1, Hk-1. Способ вычисления этих параметров выделяет конкретный вид алгоритма эллипсоидов из рассматриваемого здесь класса. Предполагается, что для каждого из способов существуют такие константы ast19.wmf
и ast20.wmf, что для любых k

ast21.wmf, (9)

ast22.wmf. (10)

При этом для всего класса алгоритмов

ast23.wmf. (11)

Из приведенных данных нетрудно найти, что

ast24.wmf, (12)

где det H – определитель матрицы H.

Пара (zk, yk) считается информативной, если

ast25.wmf, (13)

где q – некоторая константа. Поскольку объем эллипсоида Ek прямо пропорционален корню квадратному из определителя ast26.wmf матрицы Hk, то для информативных пар объемы эллипсоидов строго монотонно убывают.

Далее, будем рассматривать только информативные пары, считая, что условие (13) выполнено для всех ast27.wmf.

В работе [4] были получены условия, налагаемые на вектор zk, при которых обеспечивалась сходимость оценок mk к оцениваемому вектору m*. Наличие ограничений (3) на вектор zk в общем случае не позволяет выполнить эти условия. В [8], например, показано, что в случае изменения вектора zk в одномерном подпространстве нельзя обеспечить сходимость оценок mk к вектору m*. В этом случае с течением времени происходит ортогонализация векторов zk и векторов невязки (m* – mk). Этот факт связан с тем, что уравнение (1) при отсутствии помех (ξk = 0) и при условии, что все zk принадлежат линейному одномерному пространству, имеет множество решений, представляет собой линейное многообразие размерности (n – 1), которое содержит вектор m* и для каждого его элемента m справедливо

ast28.wmf.

Обозначим через ast29.wmf минимальное линейное подпространство пространства Rn, содержащее множество Z. Пусть размерность этого подпространства равна m. Можно показать, что аналогичная картина возникает в том случае, когда векторы zk изменяются только в подпространстве L. В этом случае система уравнений (1) ast30.wmf также имеет не единственное решение, а множество решений, которое является линейным многообразием размерности (n – m). Это многообразие содержит вектор m* и для каждого его элемента m справедливо

ast31.wmf.

Таким образом, в случае ограничений (3) требуется указать условия, налагаемые на векторы zk, при которых для последовательности ast32.wmf оценок mk, генерируемых с помощью любого алгоритма из рассматриваемого класса, имел место предел

ast33.wmf. (14)

Условия сходимости

Подпространство L можно представить в следующем виде

ast34.wmf, (15)

где столбцы (n×m) – матрицы А ортонормированны

ast35.wmf. (16)

Здесь I – единичная (m×m) – матрица. Как следует из определения подпространства L, векторы-столбцы аi матрицы А представляют собой ортонормированный базис подпространства L. Получим оценку для величины ast36.wmf, считая, что ast37.wmf. При этом учтем, что по построению эллипсоид Еk содержит вектор m*, а для вектора z справедливо представление ast38.wmf. В результате получим

ast39.wmf,

где ast40.wmf – максимальное собственное значение матрицы Hk = ATHkA. Сформулированная выше задача будет решена, если на последовательности ast41.wmf будет иметь место предел

ast42.wmf.

Как следует из определения множества L, любой вектор zk представим в виде

ast43.wmf.

где vk – некоторый вектор из Rm. Подставляя это выражение в равенство (7) и умножая его слева на AT и справа на A, получим

ast44.wmf.

Учитывая обозначение ast45.wmf,
последнее равенство можно переписать в виде

ast46.wmf. (17)

Нетрудно заметить, что это уравнение совпадает с уравнением (8) за исключением размерности и обозначения вектора vk.

Условия, при которых последовательность ast47.wmf матриц Hk, вычисляемых в соответствии с приведенным выше уравнением, стремится к нулевой матрице, получены в [4]. Для этого случая справедливо следующее утверждение.

Утверждение 1. Пусть ε – некоторое фиксированное положительное число, взятое из интервала (0,1), и последовательность ast48.wmf такова, что выполняется условие

ast49.wmf. (18)

За исключением конечного числа моментов времени k. Тогда существует предел

ast50.wmf.

Сформулированное утверждение представляет собой иную формулировку теоремы из [4], и его доказательство аналогично доказательству теоремы.

Условие (18) с учетом представления (17) и равенства (16) можно записать в следующем виде

ast51.wmf. (19)

Заметим, что это условие не зависит от выбора матрицы А, фигурирующей в определении (15) подпространства L. Предположим, что в качестве матрицы А взята матрица В. Поскольку векторы-столбцы bi матрицы В также образуют ортонормированный базис подпространства L, то существует такая ортогональная ast52.wmf-матрица S, что

ast53.wmf.

Поэтому и в силу свойств собственных значений матрицы имеем

ast54.wmf

Покажем, что условие (19) можно выполнить при ограничении (3) на векторы zk. Условие (19) выделяет в пространстве Rn конус

ast55.wmf.

Если для каждого момента времени k пересечение конуса ast56.wmf и множества Z не пусто

ast57.wmf. (20)

То существует последовательность ast58.wmf векторов zk, удовлетворяющая условию (19) и ограничению (3) и на которой имеет место предел (14). Покажем, что можно выбрать число ε таким образом, что выполняется (20). Для этого введем следующие величины, характеризующие множество Z. Для любого единичного вектора ast59.wmf будем рассматривать подпространство

ast60.wmf,

ортогональное вектору I. Обозначим через

ast61.wmf

ast62.wmf

максимальное расстояние от множества Z до подпространства ast63.wmf. Поскольку

ast64.wmf,

то функция ast65.wmf приобретает вид

ast66.wmf. (21)

Функция ast68.wmf обладает, в частности, следующими свойствами

ast69.wmf.

Поскольку функция ast70.wmf непрерывна по I и вектор I изменяется в пределах компакта – единичной сферы, то она достигает своего минимального ast71.wmf и максимального ast72.wmf значения при ast73.wmf. Причем ast74.wmf.

Утверждение 2. Пусть ast75.wmf. Тогда существует последовательность ast76.wmf векторов zk, удовлетворяющих как условию ограниченности (3), так и условию (19), на которой для каждого из алгоритмов рассматриваемого класса имеет место предел

ast77.wmf.

Доказательство. Условие (19) получено из условия (18). Как показано в [4], условие (18) для векторов vk выполняется, если справедливо неравенство

ast78.wmf, (22)

где ast79.wmf – собственный вектор матрицы ast80.wmf, соответствующий максимальному собственному значению ast81.wmf, ast82.wmf. С учетом представления (17) и условия (16) неравенство (22) для векторов ast83.wmf эквивалентно следующему:

ast84.wmf. (23)

Заметим, что вектор ast85.wmf и норма ast86.wmf. Предлагается в качестве элементов ast87.wmf искомой последовательности ast88.wmf брать аргументы решения следующей задачи

ast89.wmf. (24)

В этом случае получим, что

ast90.wmf. (25)

При получении последнего неравенства использовалась оценка сверху, для ast91.wmf, которая следует из следующего неравенства

ast92.wmf

Таким образом из (25) следует, что если последовательность ast93.wmf определять при решении задачи (24), то условие (23) и, следовательно, условие (19) будет выполнено при ast94.wmf.

Утверждение доказано.

В доказательстве утверждения содержится способ построения последовательности ast95.wmf, каждый вектор zk которой удовлетворяет условию ограниченности (3) и на которой обеспечивается сходимость рассматриваемого класса алгоритмов. Поскольку для произвольно заданной последовательности ast96.wmf условие (19) может не выполняться, то предлагается, так же как и в [4], преобразовывать элементы последовательности ast97.wmf по правилу

ast98.wmf

где ∆zk – изучающая добавка (для кратности – поправка) такая, что ast99.wmf.
Задача определения поправки ∆zk в общем случае имеет не единственное решение. То или иное ее решение может быть выбрано исходя из некоторых специфических дополнительных соображений. Например, наилучшее решение с точки зрения минимума нормы ast100.wmf может быть получено при взятии в качестве ast101.wmf проекции вектора zk на множество ast102.wmf. В силу произвольности множества Z определение этой проекции не является простой задачей.

Рассмотрим практически важный случай, при котором изучающие добавки ∆zk ограничены по норме

ast103.wmf. (26)

Здесь d – заданное положительное число. Рассмотрим множество

ast104.wmf.

Поскольку по условию ast105.wmf, то множество ast106.wmf никогда не пусто и является выпуклым и ограниченным как пересечение выпуклых и ограниченных множеств Z и ∆Z.

Лемма. При ast107.wmf функция ast108.wmf достигает своего минимального ast109.wmf и максимального ast110.wmf значений, причем ast111.wmf.

Доказательство. Поскольку функция ast112.wmf непрерывна по I и вектор I изменяется в пределах единичной сферы, то она достигает своего минимального ast113.wmf и максимального ast114.wmf значения при ast115.wmf. Покажем, что ast116.wmf. Предположим противное, т.е. пусть существует такой вектор ast117.wmf, ast118.wmf, что функция ast119.wmf.

Поскольку вектор ast120.wmf,
то, используя определение функции ast121.wmf, получим

ast122.wmf. (27)

В то же время

ast123.wmf > 0.

Пусть

ast124.wmf.

Тогда

ast125.wmf > 0. (28)

Поскольку множество Z выпукло, то при любом значении числа γ, взятом из интервала [0,1], точка

ast126.wmf

принадлежит множеству Z. Выберем ast127.wmf.

Тогда точка

ast128.wmf

принадлежит множеству ast129.wmf. Для этой точки получаем

ast130.wmf > 0.

Последнее неравенство, полученное с учетом (27) и (28), противоречит предположению. Лемма доказана.

С помощью леммы достаточно просто можно доказать существование ограниченных по норме добавок ∆zk, обеспечивающих сходимость рассматриваемого семейства алгоритмов.

Утверждение 3. Пусть задана последовательность ast131.wmf векторов zk, удовлетворяющих условию ограниченности (3). Тогда существует такая последовательность ast132.wmf векторов ∆zk, удовлетворяющих условию (26), что последовательность ast133.wmf векторов ast134.wmf удовлетворяет как условию ограниченности (3), так и условию (19) со значением параметра ast135.wmf/ast136.wmf и на которой для каждого из алгоритмов рассматриваемого класса имеет место предел

ast137.wmf.

Доказательство этого утверждения аналогично доказательству утверждения 2 с той лишь разницей, что максимум в (24) надо брать по множеству ast138.wmf. Тогда в соответствии с леммой условие сходимости (23) или (19) будет выполнено при значении параметра ast139.wmf.

В заключение приведен один из простейших алгоритмов вычисления изучающих добавок в случае, когда множество Z является многогранником.

Алгоритм построения изучающих добавок

Алгоритм вычисления изучающих добавок, когда множество Z – многогранник. Предположим, что множество Z задано как пересечение конечного числа многомерных полос

ast140.wmf

и является многогранником. В последнем выражении ci, числа zi и ast141.wmf предполагаются известными. Вычислим координаты вершин ast142.wmf многогранника Z с помощью алгоритма, приведенного в [9]. Затем определим максимальное количество m линейно независимых векторов ast143.wmf и к этим векторам применим, например, процесс ортогонализации Грама – Шмидта. В результате определим базисные векторы ai подпространства L. Далее с помощью вычислительных методов линейной алгебры вычислим собственное значение ast144.wmf и соответствующий собственный вектор ast145.wmf матрицы ast146.wmf. Проверим условие (19). Если оно выполнено, то вычисление добавки ∆zk не требуется. Если условие (19) не выполнено, то вычисляем вектор ast147.wmf и решаем задачу

ast148.wmf. (29)

Здесь функция ast149.wmf определена следующим образом

ast150.wmf

Задача (29) решается вместо более сложной

ast151.wmf.

В результате решения этой задачи определяется вектор ast152.wmf, направленный в одну из вершин многогранника Z. Окончательно для вектора zk полагаем

ast153.wmf.

Заметим, что в силу определения функции ∆(z) условие (26) ограниченности вектора добавок будет выполнено. После этого вычислим величину

ast154.wmf

и полагаем ast155.wmf.

В качестве начального условия для этого соотношения можно взять ε0 = 1. Можно показать, что при таком выборе εk его величина ограничена снизу

ast156.wmf.

В заключение заметим, что вычисления вершин многогранника и определение матрицы А выполняются не в режиме реального времени. Решение же задачи (29) при небольшой размерности не является трудоемкой задачей.

Численный пример

Рассмотрим задачу, оценивая для уравнения (1) при размерности n = 2. Вектор m* = (12, – 3). Априорная множественная оценка Е0 определялась параметрами m0 = (24, 0), H0 = diag(2500, 2500). Помеха ξk моделировалась с помощью генератора псевдослучайных чисел, равномерно распределенных в интервале [–20, 20]. Ограничения на значение вектора ast157.wmf были следующими:

ast158.wmf

Исходная последовательность ast159.wmf была постоянной, ast160.wmf. Таким образом, множество Z является отрезком и его концы задаются векторами ast161.wmf. В данном случае матрица A = I и подпространство L совпадает с R2. Изучающие добавки построены в соответствии с алгоритмом, приведенным выше в статье. По результатам расчетов можно построить графики зависимости оценки ast162.wmf для величиныast163.wmf от времени. Один график строят для величины d1 = 10, второй – для d2 = 1. Точность оценивания 0,25 была достигнута в первом случае на шаге k = 39, во втором на шаге k = 137. Таким образом, чем жестче ограничения на величину добавки, тем меньше скорость сходимости. Заметим, что при ∆ = 0 алгоритм может не сходиться.


Библиографическая ссылка

Астапов В.Н. ОЦЕНИВАНИЕ С ПОМОЩЬЮ ЭЛЛИПСОИДОВ ПАРАМЕТРОВ ЛИНЕЙНОЙ РЕГРЕССИИ ПРИ ОГРАНИЧЕНИЯХ НА ВЕКТОР ВХОДНЫХ ФУНКЦИЙ // Международный журнал прикладных и фундаментальных исследований. – 2018. – № 10. – С. 9-15;
URL: http://www.applied-research.ru/ru/article/view?id=12408 (дата обращения: 25.02.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074