Scientific journal
International Journal of Applied and fundamental research
ISSN 1996-3955
ИФ РИНЦ = 0,593

ESTIMATION USING ELLIPSOIDES PARAMETERS OF LINEAR REGRESSION WITH LIMITATIONS ON THE VECTOR OF INITIAL FUNCTIONS

Astapov V.N. 1
1 Samara State Technical University
In the process of research, we formulate convergence of algorithms for ellipsoidal estimation problem, when the input functions in the regression equation are constrained. For this, algorithms for constructing the so-called ellipsoidal estimates Eк of the parameters m* are considering. These estimates have the form of multidimensional ellipsoids. To solve the problem, in the case of restrictions on input functions, it is required to specify the conditions imposed on the vectors zk, in which, for participants of the estimates generated with the help of any algorithm from the considered class, there was a limit. Conditions of convergence also indicated under these constraints and problems of solving this problem are considered. The problem of determining the correction is described, this or that solution can be chosen based on some specific additional considerations, bearing in mind that this problem in the general case has not a unique solution. We gave an algorithm for calculating corrections (studying additives). As an example, we choose the problem by estimating for an equation with dimension n = 2 and the equality of the vector m* = (12, – 3). The interference was modeling using a pseudo-random number generator uniformly distributed in the interval [–20, 20].
algorithm
ellipsoidal estimations
linear regression
multidimensional systems
convergence
studying correction
input functions
constraint,

Памяти моего учителя, профессора Г.М. Бакана посвящается

Одна из важнейших задач теории управления состоит в эффективном построении областей достижимости или их аппроксимаций для изучаемых динамических систем. Для линейных систем, как показано в [1], хорошо разработана техника эллипсоидального оценивания областей достижимости сверху и снизу. Где рассматривается задача оценивания множеств достижимости управляемых динамических систем, описываемых дифференциальными уравнениями с импульсным управлением и неполной информацией о начальных данных.

Работа [2] посвящена решению задачи масштабируемости эллипсоидального метода оценивания множеств достижимости линейных систем. Задача решается с помощью эллипсоидального метода оценивания множества достижимости, а именно, построением внешних оценок.

Особенности задач управления неустойчивыми объектами рассматриваются многими как отечественными, так и зарубежными авторами. Основной особенностью ограниченного управления неустойчивым объектом является ограниченность области притяжения (асимптотической устойчивости) стабилизируемого состояния в фазовом пространстве системы. Нахождение границ области устойчивости стабилизируемого состояния для нелинейных систем в общем случае является сложной задачей. Преодоление указанной трудности состоит в нахождении оценки области устойчивости в виде эллипсоида и условий достижения его максимальных размеров [3].

Решение данных задач заключается в обеспечении сходимости используемых алгоритмов оценивания параметров с помощью эллипсоидов.

Так в работе [4] рассматривалась сходимость алгоритмов оценивания с помощью эллипсоидов в задаче оценивания параметров линейной регрессии, при линейных ограничениях на вектор входных переменных. Там, в частности, было показано, что сходимость можно обеспечить за счет преднамеренного искажения входных сигналов.

В статье [5] рассмотрена задача параметрического оценивания для линейных многомерных систем с интервальной неопределенностью в данных. Где для нахождения интервальных оценок невыпуклых информационных множеств системы использован алгоритм, основанный на вычислении интервальных решений для интервальных систем линейных алгебраических уравнений с квадратной матрицей.

В данной работе рассматриваются вопросы сходимости алгоритмов эллипсоидального оценивания в условиях, когда на входные функции в уравнении регрессии накладываются ограничения.

Рассмотрим уравнение линейной регрессии

ast01.wmf (1)

где число yk и вектор zk значений входных функций (ast03.wmf – евклидова норма вектора) предполагаются известными в каждый момент k дискретного времени, ast04.wmf – вектор неизвестных (оцениваемых) параметров (Rn – n-мерное евклидово вещественное пространство), Т – символ транспонирования. Неизвестная величина (помеха) ξk предполагается ограниченной

ast05.wmf, (2)

где ck ≥ 0 – известное число. Вектор zk ограничен.

ast06.wmf, (3)

где Z – выпуклое компактное множество в Rn.

Априорно задано, что вектор m* принадлежит некоторому ограниченному множеству E0. Без ограничения общности будем полагать, что это множество является эллипсоидом

ast07.wmf, (4)

где вектор ast08.wmf (априорная оценка вектора m*) и симметрическая матрица ast09.wmf считаются известными.

Приведенных здесь исходных данных достаточно для построения так называемых эллипсоидальных оценок Eк вектора параметров m*. Эти оценки имеют вид многомерных эллипсоидов

ast10.wmf, (5)

таких, что

ast11.wmf. (6)

При этом ast12.wmf, где ast13.wmf – многомерный объем эллипсоида Е.

В (5) – ast14.wmf – центр симметрии эллипсоида, Hk – положительно определенная ast15.wmf – матрица. Эти определяющие оценку Ek величины вычисляются рекуррентно в соответствии с тем или иным алгоритмом эллипсоидального оценивания [6, 7].

Рассмотрим класс или множество подобных алгоритмов, определяемых соотношениями

ast16.wmf, (7)

ast18.wmf, (8)

где начальные значения m0 и H0 равны соответствующим параметрам априорного эллипсоида (4). В (7) и (8) γk, βk и введенные ωk – числовые параметры, в общем случае функционально связанные с переменными yk, uk, ck, mk-1, Hk-1. Способ вычисления этих параметров выделяет конкретный вид алгоритма эллипсоидов из рассматриваемого здесь класса. Предполагается, что для каждого из способов существуют такие константы ast19.wmf
и ast20.wmf, что для любых k

ast21.wmf, (9)

ast22.wmf. (10)

При этом для всего класса алгоритмов

ast23.wmf. (11)

Из приведенных данных нетрудно найти, что

ast24.wmf, (12)

где det H – определитель матрицы H.

Пара (zk, yk) считается информативной, если

ast25.wmf, (13)

где q – некоторая константа. Поскольку объем эллипсоида Ek прямо пропорционален корню квадратному из определителя ast26.wmf матрицы Hk, то для информативных пар объемы эллипсоидов строго монотонно убывают.

Далее, будем рассматривать только информативные пары, считая, что условие (13) выполнено для всех ast27.wmf.

В работе [4] были получены условия, налагаемые на вектор zk, при которых обеспечивалась сходимость оценок mk к оцениваемому вектору m*. Наличие ограничений (3) на вектор zk в общем случае не позволяет выполнить эти условия. В [8], например, показано, что в случае изменения вектора zk в одномерном подпространстве нельзя обеспечить сходимость оценок mk к вектору m*. В этом случае с течением времени происходит ортогонализация векторов zk и векторов невязки (m* – mk). Этот факт связан с тем, что уравнение (1) при отсутствии помех (ξk = 0) и при условии, что все zk принадлежат линейному одномерному пространству, имеет множество решений, представляет собой линейное многообразие размерности (n – 1), которое содержит вектор m* и для каждого его элемента m справедливо

ast28.wmf.

Обозначим через ast29.wmf минимальное линейное подпространство пространства Rn, содержащее множество Z. Пусть размерность этого подпространства равна m. Можно показать, что аналогичная картина возникает в том случае, когда векторы zk изменяются только в подпространстве L. В этом случае система уравнений (1) ast30.wmf также имеет не единственное решение, а множество решений, которое является линейным многообразием размерности (n – m). Это многообразие содержит вектор m* и для каждого его элемента m справедливо

ast31.wmf.

Таким образом, в случае ограничений (3) требуется указать условия, налагаемые на векторы zk, при которых для последовательности ast32.wmf оценок mk, генерируемых с помощью любого алгоритма из рассматриваемого класса, имел место предел

ast33.wmf. (14)

Условия сходимости

Подпространство L можно представить в следующем виде

ast34.wmf, (15)

где столбцы (n×m) – матрицы А ортонормированны

ast35.wmf. (16)

Здесь I – единичная (m×m) – матрица. Как следует из определения подпространства L, векторы-столбцы аi матрицы А представляют собой ортонормированный базис подпространства L. Получим оценку для величины ast36.wmf, считая, что ast37.wmf. При этом учтем, что по построению эллипсоид Еk содержит вектор m*, а для вектора z справедливо представление ast38.wmf. В результате получим

ast39.wmf,

где ast40.wmf – максимальное собственное значение матрицы Hk = ATHkA. Сформулированная выше задача будет решена, если на последовательности ast41.wmf будет иметь место предел

ast42.wmf.

Как следует из определения множества L, любой вектор zk представим в виде

ast43.wmf.

где vk – некоторый вектор из Rm. Подставляя это выражение в равенство (7) и умножая его слева на AT и справа на A, получим

ast44.wmf.

Учитывая обозначение ast45.wmf,
последнее равенство можно переписать в виде

ast46.wmf. (17)

Нетрудно заметить, что это уравнение совпадает с уравнением (8) за исключением размерности и обозначения вектора vk.

Условия, при которых последовательность ast47.wmf матриц Hk, вычисляемых в соответствии с приведенным выше уравнением, стремится к нулевой матрице, получены в [4]. Для этого случая справедливо следующее утверждение.

Утверждение 1. Пусть ε – некоторое фиксированное положительное число, взятое из интервала (0,1), и последовательность ast48.wmf такова, что выполняется условие

ast49.wmf. (18)

За исключением конечного числа моментов времени k. Тогда существует предел

ast50.wmf.

Сформулированное утверждение представляет собой иную формулировку теоремы из [4], и его доказательство аналогично доказательству теоремы.

Условие (18) с учетом представления (17) и равенства (16) можно записать в следующем виде

ast51.wmf. (19)

Заметим, что это условие не зависит от выбора матрицы А, фигурирующей в определении (15) подпространства L. Предположим, что в качестве матрицы А взята матрица В. Поскольку векторы-столбцы bi матрицы В также образуют ортонормированный базис подпространства L, то существует такая ортогональная ast52.wmf-матрица S, что

ast53.wmf.

Поэтому и в силу свойств собственных значений матрицы имеем

ast54.wmf

Покажем, что условие (19) можно выполнить при ограничении (3) на векторы zk. Условие (19) выделяет в пространстве Rn конус

ast55.wmf.

Если для каждого момента времени k пересечение конуса ast56.wmf и множества Z не пусто

ast57.wmf. (20)

То существует последовательность ast58.wmf векторов zk, удовлетворяющая условию (19) и ограничению (3) и на которой имеет место предел (14). Покажем, что можно выбрать число ε таким образом, что выполняется (20). Для этого введем следующие величины, характеризующие множество Z. Для любого единичного вектора ast59.wmf будем рассматривать подпространство

ast60.wmf,

ортогональное вектору I. Обозначим через

ast61.wmf

ast62.wmf

максимальное расстояние от множества Z до подпространства ast63.wmf. Поскольку

ast64.wmf,

то функция ast65.wmf приобретает вид

ast66.wmf. (21)

Функция ast68.wmf обладает, в частности, следующими свойствами

ast69.wmf.

Поскольку функция ast70.wmf непрерывна по I и вектор I изменяется в пределах компакта – единичной сферы, то она достигает своего минимального ast71.wmf и максимального ast72.wmf значения при ast73.wmf. Причем ast74.wmf.

Утверждение 2. Пусть ast75.wmf. Тогда существует последовательность ast76.wmf векторов zk, удовлетворяющих как условию ограниченности (3), так и условию (19), на которой для каждого из алгоритмов рассматриваемого класса имеет место предел

ast77.wmf.

Доказательство. Условие (19) получено из условия (18). Как показано в [4], условие (18) для векторов vk выполняется, если справедливо неравенство

ast78.wmf, (22)

где ast79.wmf – собственный вектор матрицы ast80.wmf, соответствующий максимальному собственному значению ast81.wmf, ast82.wmf. С учетом представления (17) и условия (16) неравенство (22) для векторов ast83.wmf эквивалентно следующему:

ast84.wmf. (23)

Заметим, что вектор ast85.wmf и норма ast86.wmf. Предлагается в качестве элементов ast87.wmf искомой последовательности ast88.wmf брать аргументы решения следующей задачи

ast89.wmf. (24)

В этом случае получим, что

ast90.wmf. (25)

При получении последнего неравенства использовалась оценка сверху, для ast91.wmf, которая следует из следующего неравенства

ast92.wmf

Таким образом из (25) следует, что если последовательность ast93.wmf определять при решении задачи (24), то условие (23) и, следовательно, условие (19) будет выполнено при ast94.wmf.

Утверждение доказано.

В доказательстве утверждения содержится способ построения последовательности ast95.wmf, каждый вектор zk которой удовлетворяет условию ограниченности (3) и на которой обеспечивается сходимость рассматриваемого класса алгоритмов. Поскольку для произвольно заданной последовательности ast96.wmf условие (19) может не выполняться, то предлагается, так же как и в [4], преобразовывать элементы последовательности ast97.wmf по правилу

ast98.wmf

где ∆zk – изучающая добавка (для кратности – поправка) такая, что ast99.wmf.
Задача определения поправки ∆zk в общем случае имеет не единственное решение. То или иное ее решение может быть выбрано исходя из некоторых специфических дополнительных соображений. Например, наилучшее решение с точки зрения минимума нормы ast100.wmf может быть получено при взятии в качестве ast101.wmf проекции вектора zk на множество ast102.wmf. В силу произвольности множества Z определение этой проекции не является простой задачей.

Рассмотрим практически важный случай, при котором изучающие добавки ∆zk ограничены по норме

ast103.wmf. (26)

Здесь d – заданное положительное число. Рассмотрим множество

ast104.wmf.

Поскольку по условию ast105.wmf, то множество ast106.wmf никогда не пусто и является выпуклым и ограниченным как пересечение выпуклых и ограниченных множеств Z и ∆Z.

Лемма. При ast107.wmf функция ast108.wmf достигает своего минимального ast109.wmf и максимального ast110.wmf значений, причем ast111.wmf.

Доказательство. Поскольку функция ast112.wmf непрерывна по I и вектор I изменяется в пределах единичной сферы, то она достигает своего минимального ast113.wmf и максимального ast114.wmf значения при ast115.wmf. Покажем, что ast116.wmf. Предположим противное, т.е. пусть существует такой вектор ast117.wmf, ast118.wmf, что функция ast119.wmf.

Поскольку вектор ast120.wmf,
то, используя определение функции ast121.wmf, получим

ast122.wmf. (27)

В то же время

ast123.wmf > 0.

Пусть

ast124.wmf.

Тогда

ast125.wmf > 0. (28)

Поскольку множество Z выпукло, то при любом значении числа γ, взятом из интервала [0,1], точка

ast126.wmf

принадлежит множеству Z. Выберем ast127.wmf.

Тогда точка

ast128.wmf

принадлежит множеству ast129.wmf. Для этой точки получаем

ast130.wmf > 0.

Последнее неравенство, полученное с учетом (27) и (28), противоречит предположению. Лемма доказана.

С помощью леммы достаточно просто можно доказать существование ограниченных по норме добавок ∆zk, обеспечивающих сходимость рассматриваемого семейства алгоритмов.

Утверждение 3. Пусть задана последовательность ast131.wmf векторов zk, удовлетворяющих условию ограниченности (3). Тогда существует такая последовательность ast132.wmf векторов ∆zk, удовлетворяющих условию (26), что последовательность ast133.wmf векторов ast134.wmf удовлетворяет как условию ограниченности (3), так и условию (19) со значением параметра ast135.wmf/ast136.wmf и на которой для каждого из алгоритмов рассматриваемого класса имеет место предел

ast137.wmf.

Доказательство этого утверждения аналогично доказательству утверждения 2 с той лишь разницей, что максимум в (24) надо брать по множеству ast138.wmf. Тогда в соответствии с леммой условие сходимости (23) или (19) будет выполнено при значении параметра ast139.wmf.

В заключение приведен один из простейших алгоритмов вычисления изучающих добавок в случае, когда множество Z является многогранником.

Алгоритм построения изучающих добавок

Алгоритм вычисления изучающих добавок, когда множество Z – многогранник. Предположим, что множество Z задано как пересечение конечного числа многомерных полос

ast140.wmf

и является многогранником. В последнем выражении ci, числа zi и ast141.wmf предполагаются известными. Вычислим координаты вершин ast142.wmf многогранника Z с помощью алгоритма, приведенного в [9]. Затем определим максимальное количество m линейно независимых векторов ast143.wmf и к этим векторам применим, например, процесс ортогонализации Грама – Шмидта. В результате определим базисные векторы ai подпространства L. Далее с помощью вычислительных методов линейной алгебры вычислим собственное значение ast144.wmf и соответствующий собственный вектор ast145.wmf матрицы ast146.wmf. Проверим условие (19). Если оно выполнено, то вычисление добавки ∆zk не требуется. Если условие (19) не выполнено, то вычисляем вектор ast147.wmf и решаем задачу

ast148.wmf. (29)

Здесь функция ast149.wmf определена следующим образом

ast150.wmf

Задача (29) решается вместо более сложной

ast151.wmf.

В результате решения этой задачи определяется вектор ast152.wmf, направленный в одну из вершин многогранника Z. Окончательно для вектора zk полагаем

ast153.wmf.

Заметим, что в силу определения функции ∆(z) условие (26) ограниченности вектора добавок будет выполнено. После этого вычислим величину

ast154.wmf

и полагаем ast155.wmf.

В качестве начального условия для этого соотношения можно взять ε0 = 1. Можно показать, что при таком выборе εk его величина ограничена снизу

ast156.wmf.

В заключение заметим, что вычисления вершин многогранника и определение матрицы А выполняются не в режиме реального времени. Решение же задачи (29) при небольшой размерности не является трудоемкой задачей.

Численный пример

Рассмотрим задачу, оценивая для уравнения (1) при размерности n = 2. Вектор m* = (12, – 3). Априорная множественная оценка Е0 определялась параметрами m0 = (24, 0), H0 = diag(2500, 2500). Помеха ξk моделировалась с помощью генератора псевдослучайных чисел, равномерно распределенных в интервале [–20, 20]. Ограничения на значение вектора ast157.wmf были следующими:

ast158.wmf

Исходная последовательность ast159.wmf была постоянной, ast160.wmf. Таким образом, множество Z является отрезком и его концы задаются векторами ast161.wmf. В данном случае матрица A = I и подпространство L совпадает с R2. Изучающие добавки построены в соответствии с алгоритмом, приведенным выше в статье. По результатам расчетов можно построить графики зависимости оценки ast162.wmf для величиныast163.wmf от времени. Один график строят для величины d1 = 10, второй – для d2 = 1. Точность оценивания 0,25 была достигнута в первом случае на шаге k = 39, во втором на шаге k = 137. Таким образом, чем жестче ограничения на величину добавки, тем меньше скорость сходимости. Заметим, что при ∆ = 0 алгоритм может не сходиться.