Тема 2. СИСТЕМЫ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ.
Основные понятия.
Определение 1 . Системой m линейных уравнений с n неизвестными называется система вида:
где и 
- числа.
Определение 2 . Решением системы (I) называется такой набор неизвестных , при котором каждое уравнение этой системы обращается в тождество.
Определение 3 . Система (I) называется совместной , если она имеет хотя бы одно решение и несовместной , если она не имеет решений. Совместная система называется определенной , если она имеет единственное решение, и неопределенной в противном случае.
Определение 4 . Уравнение вида
называется нулевым , а уравнение вида
называется несовместным . Очевидно, что система уравнений, содержащая несовместное уравнение, является несовместной.
Определение 5 . Две системы линейных уравнений называются равносильными , если каждое решение одной системы служит решением другой и, наоборот, всякое решение второй системы является решением первой.
Матричная запись системы линейных уравнений.
Рассмотрим систему (I) (см. §1).
Обозначим:
Матрица коэффициентов при неизвестных
,
Матрица – столбец свободных членов
Матрица – столбец неизвестных
.
Определение 1. Матрица называется основной матрицей системы (I), а матрица - расширенной матрицей системы (I).
По определению равенства матриц системе (I) соответствует матричное равенство:
.
Правую часть этого равенства по определению произведения матриц (см. определение 3 § 5 главы 1 ) можно разложить на множители:
, т.е.
Равенство (2) называется матричной записью системы (I) .
Решение системы линейных уравнений методом Крамера.
Пусть в системе (I) (см. §1) m=n , т.е. число уравнений равно числу неизвестных, и основная матрица системы невырожденная, т.е. . Тогда система (I) из §1 имеет единственное решение
где Δ = det A называется главным определителем системы (I), Δ i получается из определителя Δ заменой i -го столбца на столбец из свободных членов системы (I).
Пример.Решить систему методом Крамера:
.
По формулам (3)
.
Вычисляем определители системы:
,
,
,
.
Чтобы получить определитель , мы заменили в определителе первый столбец на столбец из свободных членов; заменяя в определителе 2-ой столбец на столбец из свободных членов, получаем ; аналогичным образом, заменяя в определителе 3-ий столбец на столбец из свободных членов, получаем . Решение системы:
Решение систем линейных уравнений с помощью обратной матрицы.
Пусть в системе(I) (см. §1) m=n и основная матрица системы невырожденная . Запишем систему (I) в матричном виде (см. §2 ):
т.к. матрица A невырожденная, то она имеет обратную матрицу (см. теорему 1 §6 главы 1 ). Умножим обе части равенства (2) на матрицу , тогда
. (3)
По определению обратной матрицы . Из равенства (3) имеем
Решить систему с помощью обратной матрицы
.
Обозначим
; ; .
В примере (§ 3)мы вычислили определитель , следовательно, матрица A имеет обратную матрицу . Тогда в силу (4) , т.е.
. (5)
Найдем матрицу (см. §6 главы 1 )
, 
, 
,
, 
, 
,
, 
, 
,
,
.
Метод Гаусса.
Пусть задана система линейных уравнений:
. (I)
Требуется найти все решения системы (I) или убедиться в том, что система несовместна.
Определение 1. Назовем элементарным преобразованием системы (I) любое из трёх действий:
1) вычёркивание нулевого уравнения;
2) прибавление к обеим частям уравнения соответствующих частей другого уравнения, умноженных на число l;
3) перемена местами слагаемых в уравнениях системы так, чтобы неизвестные с одинаковыми номерами во всех уравнениях занимали одинаковые места, т.е. если, например, в 1-ом уравнении мы поменяли 2-ое и 3-е слагаемые, тогда то же самое необходимо сделать во всех уравнениях системы.
Метод Гаусса состоит в том, что система (I) с помощью элементарных преобразований приводится к равносильной системе, решение которой находится непосредственно или устанавливается её неразрешимость.
Как было описано в §2 система (I) однозначно определяется своей расширенной матрицей и любое элементарное преобразование системы (I) соответствует элементарному преобразованию расширенной матрицы:
.
Преобразование 1) соответствует вычёркиванию нулевой строки в матрице , преобразование 2) равносильно прибавлению к соответствующей строке матрицы другой её строки, умноженной на число l, преобразование 3) эквивалентно перестановке столбцов в матрице .
Легко видеть, что, наоборот, каждому элементарному преобразованию матрицы соответствует элементарное преобразование системы (I). В силу сказанного, вместо операций с системой (I) мы будем работать с расширенной матрицей этой системы.
В матрице 1-ый столбец состоит из коэффициентов при х 1 , 2-ой столбец - из коэффициентов при х 2 и т.д. В случае перестановки столбцов следует учитывать, что это условие нарушается. Например, если мы поменяем 1-ый и 2-ой столбцы местами, то теперь в 1-ом столбце будут коэффициенты при х 2 , а во 2-ом столбце - коэффициенты при х 1 .
Будем решать систему (I) методом Гаусса.
1. Вычеркнем в матрице все нулевые строки, если такие имеются (т.е. вычеркнем в системе (I) все нулевые уравнения).
2. Проверим, есть ли среди строк матрицы строка, в которой все элементы, кроме последнего, равны нулю (назовём такую строку несовместной). Очевидно, что такой строке соответствует несовместное уравнение в системе (I) , следовательно, система (I) решений не имеет и на этом процесс заканчивается.
3. Пусть матрица не содержит несовместных строк (система (I) не содержит несовместных уравнений). Если a 11 =0 , то находим в 1-ой строке какой-нибудь элемент (кроме последнего) отличный от нуля и переставляем столбцы так, чтобы в 1-ой строке на 1-ом месте не было нуля. Будем теперь считать, что (т.е. поменяем местами соответствующие слагаемые в уравнениях системы (I)).
4. Умножим 1-ую строку на и сложим результат со 2-ой строкой, затем умножим 1-ую строку на и сложим результат с 3-ей строкой и т.д. Очевидно, что этот процесс эквивалентен исключению неизвестного x 1 из всех уравнений системы (I), кроме 1-ого. В новой матрице получаем нули в 1-ом столбце под элементом a 11 :
.
5. Вычеркнем в матрице все нулевые строки, если они есть, проверим, нет ли несовместной строки (если она имеется, то система несовместна и на этом решение заканчивается). Проверим, будет ли a 22 / =0
, если да, то находим во 2-ой строке элемент, отличный от нуля и переставляем столбцы так, чтобы . Далее умножаем элементы 2-ой строки на 
и складываем с соответствующими элементами 3-ей строки, затем - элементы 2-ой строки на 
и складываем с соответствующими элементами 4-ой строки и т.д., пока не получим нули под a 22 /
.
Произведенные действия эквивалентны исключению неизвестного х 2 из всех уравнений системы (I), кроме 1-ого и 2-ого. Так как число строк конечно, поэтому через конечное число шагов мы получим, что либо система несовместна, либо мы придём к ступенчатой матрице (см. определение 2 §7 главы 1 ) :
,
Выпишем систему уравнений, соответствующую матрице . Эта система равносильна системе (I)
.
Из последнего уравнения выражаем ; подставляем в предыдущее уравнение, находим и т.д., пока не получим .
Замечание 1. Таким образом, при решении системы (I) методом Гаусса мы приходим к одному из следующих случаев.
1. Система (I) несовместна.
2. Система (I) имеет единственное решение, если в матрице число строк равно числу неизвестных ().
3. Система (I) имеет бесчисленное множество решений, если число строк в матрице меньше числа неизвестных ().
Отсюда имеет место следующая теорема.
Теорема. Система линейных уравнений либо несовместна, либо имеет единственное решение, либо – бесконечное множество решений.
Примеры. Решить систему уравнений методом Гаусса или доказать ее несовместность:
а) 
;
б) 
;
в) 
.
а) Перепишем заданную систему в виде:
.
Мы поменяли местами 1-ое и 2-ое уравнение исходной системы, чтобы упростить вычисления (вместо дробей мы с помощью такой перестановки будем оперировать только целыми числами).
Составляем расширенную матрицу:
.
Нулевых строк нет; несовместных строк нет, ; исключим 1-ое неизвестное из всех уравнений системы, кроме 1-го. Для этого умножим элементы 1-ой строки матрицы на «-2» и сложим с соответствующими элементами 2-ой строки, что равносильно умножению 1-го уравнения на «-2» и сложению со 2-ым уравнением. Затем умножим элементы 1-ой строки на «-3» и сложим с соответствующими элементами третьей строки, т.е. умножим 2-ое уравнение заданной системы на «-3» и сложим с 3-им уравнением. Получим
.
Матрице соответствует система уравнений
Метод обратной матрицы не представляет ничего сложного, если знать общие принципы работы с матричными уравнениями и, конечно, уметь производить элементарные алгебраические действия.
Решение системы уравнений методом обратной матрицы. Пример.
Удобнее всего постигать метод обратной матрицы на наглядном примере. Возьмем систему уравнений:
Первый шаг, который необходимо сделать для решения этой системы уравнений - найти определитель. Поэтому преобразим нашу систему уравнений в следующую матрицу:
И найдем нужный определитель:
Формула, использующаяся для решения матричных уравнений, выглядит следующим образом:
Таким образом, для вычисления Х нам необходимо определить значение матрицы А-1 и умножить его на b. В этом нам поможет другая формула:
Ат в данном случае будет транспонированной матрицей - то есть, той же самой, исходной, но записанной не строками, а столбцами.
Не следует забывать о том, что метод обратной матрицы , как и метод Крамера, подходит только для систем, в которых определитель больше или меньше нуля. Если же определитель равен нулю, нужно использовать метод Гаусса.
Следующий шаг - составление матрицы миноров, представляющей собой такую схему:
В итоге мы получили три матрицы - миноров, алгебраических дополнений и транспонированную матрицу алгебраических дополнений. Теперь можно переходить к собственно составлению обратной матрицы. Формулу мы уже знаем. Для нашего примера это будет выглядеть так.
Которое находит самое широкое применение в различных областях науки и практической деятельности. Это может быть физика, химия, биология, экономика, социология, психология и так далее, так далее. Волею судьбы мне часто приходится иметь дело с экономикой, и поэтому сегодня я оформлю вам путёвку в удивительную страну под названием Эконометрика =) …Как это не хотите?! Там очень хорошо – нужно только решиться! …Но вот то, что вы, наверное, определённо хотите – так это научиться решать задачи методом наименьших квадратов . И особо прилежные читатели научатся решать их не только безошибочно, но ещё и ОЧЕНЬ БЫСТРО;-) Но сначала общая постановка задачи + сопутствующий пример:
Пусть в некоторой предметной области исследуются показатели , которые имеют количественное выражение. При этом есть все основания полагать, что показатель зависит от показателя . Это полагание может быть как научной гипотезой, так и основываться на элементарном здравом смысле. Оставим, однако, науку в сторонке и исследуем более аппетитные области – а именно, продовольственные магазины. Обозначим через:
– торговую площадь продовольственного магазина, кв.м.,
– годовой товарооборот продовольственного магазина, млн. руб.
Совершенно понятно, что чем больше площадь магазина, тем в большинстве случаев будет больше его товарооборот.
Предположим, что после проведения наблюдений/опытов/подсчётов/танцев с бубном в нашем распоряжении оказываются числовые данные:
С гастрономами, думаю, всё понятно: – это площадь 1-го магазина, – его годовой товарооборот, – площадь 2-го магазина, – его годовой товарооборот и т.д. Кстати, совсем не обязательно иметь доступ к секретным материалам – довольно точную оценку товарооборота можно получить средствами математической статистики
. Впрочем, не отвлекаемся, курс коммерческого шпионажа – он уже платный =)
Табличные данные также можно записать в виде точек и изобразить в привычной для нас декартовой системе .
Ответим на важный вопрос: сколько точек нужно для качественного исследования?
Чем больше, тем лучше. Минимально допустимый набор состоит из 5-6 точек. Кроме того, при небольшом количестве данных в выборку нельзя включать «аномальные» результаты. Так, например, небольшой элитный магазин может выручать на порядки больше «своих коллег», искажая тем самым общую закономерность, которую и требуется найти!
Если совсем просто – нам нужно подобрать функцию , график
которой проходит как можно ближе к точкам 
. Такую функцию называют аппроксимирующей
(аппроксимация – приближение)
или теоретической функцией
. Вообще говоря, тут сразу появляется очевидный «претендент» – многочлен высокой степени, график которого проходит через ВСЕ точки. Но этот вариант сложен, а зачастую и просто некорректен (т.к. график будет всё время «петлять» и плохо отражать главную тенденцию)
.
Таким образом, разыскиваемая функция должна быть достаточно простА и в то же время отражать зависимость адекватно. Как вы догадываетесь, один из методов нахождения таких функций и называется методом наименьших квадратов
. Сначала разберём его суть в общем виде. Пусть некоторая функция приближает экспериментальные данные :
Как оценить точность данного приближения? Вычислим и разности (отклонения) между экспериментальными и функциональными значениями (изучаем чертёж)
. Первая мысль, которая приходит в голову – это оценить, насколько великА сумма , но проблема состоит в том, что разности могут быть и отрицательны (например, 
)
и отклонения в результате такого суммирования будут взаимоуничтожаться. Поэтому в качестве оценки точности приближения напрашивается принять сумму модулей
отклонений:
или в свёрнутом виде: (вдруг кто не знает: – это значок суммы, а – вспомогательная переменная-«счётчик», которая принимает значения от 1 до )
.
Приближая экспериментальные точки различными функциями, мы будем получать разные значения , и очевидно, где эта сумма меньше – та функция и точнее.
Такой метод существует и называется он методом наименьших модулей . Однако на практике получил гораздо бОльшее распространение метод наименьших квадратов , в котором возможные отрицательные значения ликвидируются не модулем, а возведением отклонений в квадрат:
, после чего усилия направлены на подбор такой функции , чтобы сумма квадратов отклонений 
была как можно меньше. Собственно, отсюда и название метода.
И сейчас мы возвращаемся к другому важному моменту: как отмечалось выше, подбираемая функция должна быть достаточно простА – но ведь и таких функций тоже немало: линейная , гиперболическая , экспоненциальная , логарифмическая , квадратичная и т.д. И, конечно же, тут сразу бы хотелось «сократить поле деятельности». Какой класс функций выбрать для исследования? Примитивный, но эффективный приём:
– Проще всего изобразить точки 
на чертеже и проанализировать их расположение. Если они имеют тенденцию располагаться по прямой, то следует искать уравнение прямой
с оптимальными значениями и . Иными словами, задача состоит в нахождении ТАКИХ коэффициентов – чтобы сумма квадратов отклонений была наименьшей.
Если же точки расположены, например, по гиперболе
, то заведомо понятно, что линейная функция будет давать плохое приближение. В этом случае ищем наиболее «выгодные» коэффициенты для уравнения гиперболы 
– те, которые дают минимальную сумму квадратов 
.
А теперь обратите внимание, что в обоих случаях речь идёт о функции двух переменных
, аргументами которой являются параметры разыскиваемых зависимостей
:
И по существу нам требуется решить стандартную задачу – найти минимум функции двух переменных .
Вспомним про наш пример: предположим, что «магазинные» точки имеют тенденцию располагаться по прямой линии и есть все основания полагать наличие линейной зависимости
товарооборота от торговой площади. Найдём ТАКИЕ коэффициенты «а» и «бэ», чтобы сумма квадратов отклонений 
была наименьшей. Всё как обычно – сначала частные производные 1-го порядка
. Согласно правилу линейности
дифференцировать можно прямо под значком суммы:
Если хотите использовать данную информацию для реферата или курсовика – буду очень благодарен за поставленную ссылку в списке источников, такие подробные выкладки найдёте мало где:
Составим стандартную систему:
Сокращаем каждое уравнение на «двойку» и, кроме того, «разваливаем» суммы:
Примечание
: самостоятельно проанализируйте, почему «а» и «бэ» можно вынести за значок суммы. Кстати, формально это можно проделать и с суммой
Перепишем систему в «прикладном» виде:
после чего начинает прорисовываться алгоритм решения нашей задачи:
Координаты точек мы знаем? Знаем. Суммы 
найти можем? Легко. Составляем простейшую систему двух линейных уравнений с двумя неизвестными
(«а» и «бэ»). Систему решаем, например, методом Крамера
, в результате чего получаем стационарную точку . Проверяя достаточное условие экстремума
, можно убедиться, что в данной точке функция 
достигает именно минимума
. Проверка сопряжена с дополнительными выкладками и поэтому оставим её за кадром (при необходимости недостающий кадр можно посмотреть )
. Делаем окончательный вывод:
Функция 
наилучшим образом (по крайне мере, по сравнению с любой другой линейной функцией)
приближает экспериментальные точки 
. Грубо говоря, её график проходит максимально близко к этим точкам. В традициях эконометрики
полученную аппроксимирующую функцию также называют уравнением пАрной линейной регрессии
.
Рассматриваемая задача имеет большое практическое значение. В ситуации с нашим примером, уравнение 
позволяет прогнозировать, какой товарооборот («игрек»)
будет у магазина при том или ином значении торговой площади (том или ином значении «икс»)
. Да, полученный прогноз будет лишь прогнозом, но во многих случаях он окажется достаточно точным.
Я разберу всего лишь одну задачу с «реальными» числами, поскольку никаких трудностей в ней нет – все вычисления на уровне школьной программы 7-8 класса. В 95 процентов случаев вам будет предложено отыскать как раз линейную функцию, но в самом конце статьи я покажу, что ничуть не сложнее отыскать уравнения оптимальной гиперболы, экспоненты и некоторых других функций.
По сути, осталось раздать обещанные плюшки – чтобы вы научились решать такие примеры не только безошибочно, но ещё и быстро. Внимательно изучаем стандарт:
Задача
В результате исследования взаимосвязи двух показателей, получены следующие пары чисел:
Методом наименьших квадратов найти линейную функцию, которая наилучшим образом приближает эмпирические (опытные)
данные. Сделать чертеж, на котором в декартовой прямоугольной системе координат построить экспериментальные точки и график аппроксимирующей функции 
. Найти сумму квадратов отклонений между эмпирическими и теоретическими значениями. Выяснить, будет ли функция лучше (с точки зрения метода наименьших квадратов)
приближать экспериментальные точки.
Заметьте, что «иксовые» значения – натуральные, и это имеет характерный содержательный смысл, о котором я расскажу чуть позже; но они, разумеется, могут быть и дробными. Кроме того, в зависимости от содержания той или иной задачи как «иксовые», так и «игрековые» значения полностью или частично могут быть отрицательными. Ну а у нас дана «безликая» задача, и мы начинаем её решение :
Коэффициенты оптимальной функции найдём как решение системы:
В целях более компактной записи переменную-«счётчик» можно опустить, поскольку и так понятно, что суммирование осуществляется от 1 до .
Расчёт нужных сумм удобнее оформить в табличном виде:
Вычисления можно провести на микрокалькуляторе, но гораздо лучше использовать Эксель – и быстрее, и без ошибок; смотрим короткий видеоролик:
Таким образом, получаем следующую систему
:
Тут можно умножить второе уравнение на 3 и из 1-го уравнения почленно вычесть 2-е
. Но это везение – на практике системы чаще не подарочны, и в таких случаях спасает метод Крамера
:
, значит, система имеет единственное решение.
Выполним проверку. Понимаю, что не хочется, но зачем же пропускать ошибки там, где их можно стопроцентно не пропустить? Подставим найденное решение в левую часть каждого уравнения системы:
Получены правые части соответствующих уравнений, значит, система решена правильно.
Таким образом, искомая аппроксимирующая функция: – из всех линейных функций экспериментальные данные наилучшим образом приближает именно она.
В отличие от прямой
зависимости товарооборота магазина от его площади, найденная зависимость является обратной
(принцип «чем больше – тем меньше»)
, и этот факт сразу выявляется по отрицательному угловому коэффициенту
. Функция 
сообщает нам о том, что с увеличение некоего показателя на 1 единицу значение зависимого показателя уменьшается в среднем
на 0,65 единиц. Как говорится, чем выше цена на гречку, тем меньше её продано.
Для построения графика аппроксимирующей функции найдём два её значения:
и выполним чертёж:
Построенная прямая называется линией тренда
(а именно – линией линейного тренда, т.е. в общем случае тренд – это не обязательно прямая линия)
. Всем знакомо выражение «быть в тренде», и, думаю, что этот термин не нуждается в дополнительных комментариях.
Вычислим сумму квадратов отклонений 
между эмпирическими и теоретическими значениями. Геометрически – это сумма квадратов длин «малиновых» отрезков (два из которых настолько малы, что их даже не видно)
.
Вычисления сведём в таблицу:
Их можно опять же провести вручную, на всякий случай приведу пример для 1-й точки:
но намного эффективнее поступить уже известным образом:
Еще раз повторим: в чём смысл полученного результата?
Из всех линейных функций
у функции 
показатель является наименьшим, то есть в своём семействе это наилучшее приближение. И здесь, кстати, не случаен заключительный вопрос задачи: а вдруг предложенная экспоненциальная функция 
будет лучше приближать экспериментальные точки?
Найдем соответствующую сумму квадратов отклонений – чтобы различать, я обозначу их буквой «эпсилон». Техника точно такая же:
И снова на всякий пожарный вычисления для 1-й точки:
В Экселе пользуемся стандартной функцией EXP
(синтаксис можно посмотреть в экселевской Справке)
.
Вывод
: , значит, экспоненциальная функция приближает экспериментальные точки хуже, чем прямая 
.
Но тут следует отметить, что «хуже» – это ещё не значит
, что плохо. Сейчас построил график этой экспоненциальной функции – и он тоже проходит близко к точкам 
– да так, что без аналитического исследования и сказать трудно, какая функция точнее.
На этом решение закончено, и я возвращаюсь к вопросу о натуральных значениях аргумента. В различных исследованиях, как правило, экономических или социологических, натуральными «иксами» нумеруют месяцы, годы или иные равные временнЫе промежутки. Рассмотрим, например, такую задачу.
Аппроксимация опытных данных – это метод, основанный на замене экспериментально полученных данных аналитической функцией наиболее близко проходящей или совпадающей в узловых точках с исходными значениями (данными полученными в ходе опыта или эксперимента). В настоящее время существует два способа определения аналитической функции:
С помощью построения интерполяционного многочлена n-степени, который проходит непосредственно через все точки заданного массива данных. В данном случае аппроксимирующая функция представляется в виде: интерполяционного многочлена в форме Лагранжа или интерполяционного многочлена в форме Ньютона.
С помощью построения аппроксимирующего многочлена n-степени, который проходит в ближайшей близости от точек из заданного массива данных. Таким образом, аппроксимирующая функция сглаживает все случайные помехи (или погрешности), которые могут возникать при выполнении эксперимента: измеряемые значения в ходе опыта зависят от случайных факторов, которые колеблются по своим собственным случайным законам (погрешности измерений или приборов, неточность или ошибки опыта). В данном случае аппроксимирующая функция определяется по методу наименьших квадратов.
Метод наименьших квадратов (в англоязычной литературе Ordinary Least Squares, OLS) - математический метод, основанный на определении аппроксимирующей функции, которая строится в ближайшей близости от точек из заданного массива экспериментальных данных. Близость исходной и аппроксимирующей функции F(x) определяется числовой мерой, а именно: сумма квадратов отклонений экспериментальных данных от аппроксимирующей кривой F(x) должна быть наименьшей.
Аппроксимирующая кривая, построенная по методу наименьших квадратов
Метод наименьших квадратов используется:
Для решения переопределенных систем уравнений, когда количество уравнений превышает количество неизвестных;
Для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений;
Для аппроксимации точечных значений некоторой аппроксимирующей функцией.
Аппроксимирующая функция по методу наименьших квадратов определяется из условия минимума суммы квадратов отклонений расчетной аппроксимирующей функции от заданного массива экспериментальных данных. Данный критерий метода наименьших квадратов записывается в виде следующего выражения:
Значения расчетной аппроксимирующей функции в узловых точках ,
Заданный массив экспериментальных данных в узловых точках .
Квадратичный критерий обладает рядом "хороших" свойств, таких, как дифференцируемость, обеспечение единственного решения задачи аппроксимации при полиномиальных аппроксимирующих функциях.
В зависимости от условий задачи аппроксимирующая функция представляет собой многочлен степени m
Степень аппроксимирующей функции не зависит от числа узловых точек, но ее размерность должна быть всегда меньше размерности (количества точек) заданного массива экспериментальных данных.
∙ В случае если степень аппроксимирующей функции m=1, то мы аппроксимируем табличную функцию прямой линией (линейная регрессия).
∙ В случае если степень аппроксимирующей функции m=2, то мы аппроксимируем табличную функцию квадратичной параболой (квадратичная аппроксимация).
∙ В случае если степень аппроксимирующей функции m=3, то мы аппроксимируем табличную функцию кубической параболой (кубическая аппроксимация).
В общем случае, когда требуется построить аппроксимирующий многочлен степени m для заданных табличных значений, условие минимума суммы квадратов отклонений по всем узловым точкам переписывается в следующем виде:
- неизвестные коэффициенты аппроксимирующего многочлена степени m;
Количество заданных табличных значений.
Необходимым условием существования минимума функции является равенству нулю ее частных производных по неизвестным переменным . В результате получим следующую систему уравнений:
Преобразуем полученную линейную систему уравнений: раскроем скобки и перенесем свободные слагаемые в правую часть выражения. В результате полученная система линейных алгебраических выражений будет записываться в следующем виде:
Данная система линейных алгебраических выражений может быть переписана в матричном виде:
В результате была получена система линейных уравнений размерностью m+1, которая состоит из m+1 неизвестных. Данная система может быть решена с помощью любого метода решения линейных алгебраических уравнений (например, методом Гаусса). В результате решения будут найдены неизвестные параметры аппроксимирующей функции, обеспечивающие минимальную сумму квадратов отклонений аппроксимирующей функции от исходных данных, т.е. наилучшее возможное квадратичное приближение. Следует помнить, что при изменении даже одного значения исходных данных все коэффициенты изменят свои значения, так как они полностью определяются исходными данными.
Аппроксимация исходных данных линейной зависимостью
(линейная регрессия)
В качестве примера, рассмотрим методику определения аппроксимирующей функции, которая задана в виде линейной зависимости. В соответствии с методом наименьших квадратов условие минимума суммы квадратов отклонений записывается в следующем виде:
Координаты узловых точек таблицы;
Неизвестные коэффициенты аппроксимирующей функции, которая задана в виде линейной зависимости.
Необходимым условием существования минимума функции является равенству нулю ее частных производных по неизвестным переменным. В результате получаем следующую систему уравнений:
Преобразуем полученную линейную систему уравнений.
Решаем полученную систему линейных уравнений. Коэффициенты аппроксимирующей функции в аналитическом виде определяются следующим образом (метод Крамера):
Данные коэффициенты обеспечивают построение линейной аппроксимирующей функции в соответствии с критерием минимизации суммы квадратов аппроксимирующей функции от заданных табличных значений (экспериментальные данные).
Алгоритм реализации метода наименьших квадратов
1. Начальные данные:
Задан массив экспериментальных данных с количеством измерений N
Задана степень аппроксимирующего многочлена (m)
2. Алгоритм вычисления:
2.1. Определяются коэффициенты для построения системы уравнений размерностью
Коэффициенты системы уравнений (левая часть уравнения)
- индекс номера столбца квадратной матрицы системы уравнений
Свободные члены системы линейных уравнений (правая часть уравнения)
- индекс номера строки квадратной матрицы системы уравнений
2.2. Формирование системы линейных уравнений размерностью .
2.3. Решение системы линейных уравнений с целью определения неизвестных коэффициентов аппроксимирующего многочлена степени m.
2.4.Определение суммы квадратов отклонений аппроксимирующего многочлена от исходных значений по всем узловым точкам
Найденное значение суммы квадратов отклонений является минимально-возможным.
Аппроксимация с помощью других функций
Следует отметить, что при аппроксимации исходных данных в соответствии с методом наименьших квадратов в качестве аппроксимирующей функции иногда используют логарифмическую функцию, экспоненциальную функцию и степенную функцию.
Логарифмическая аппроксимация
Рассмотрим случай, когда аппроксимирующая функция задана логарифмической функцией вида:
