Zenon  Pruschke

Zenon Pruschke

1658029980

Einführung in die lineare Algebra aus Sicht des maschinellen Lernens

In diesem Tutorial erfahren Sie, was genau lineare Algebra aus Sicht des maschinellen Lernens ist.

Nach Abschluss dieses Tutorials wissen Sie:

  • Lineare Algebra ist die Mathematik der Daten.
  • Lineare Algebra hat einen deutlichen Einfluss auf das Gebiet der Statistik gehabt.
  • Lineare Algebra liegt vielen praktischen mathematischen Werkzeugen wie Fourier-Reihen und Computergrafik zugrunde.

Was ist Lineare Algebra?

Lineare Algebra ist ein Gebiet der Mathematik, das allgemein als Voraussetzung für ein tieferes Verständnis des maschinellen Lernens gilt.

Obwohl die lineare Algebra ein großes Feld mit vielen esoterischen Theorien und Erkenntnissen ist, sind die Werkzeuge und Notationen, die aus dem Feld stammen, praktisch für Praktiker des maschinellen Lernens. Mit einer soliden Grundlage dessen, was lineare Algebra ist, ist es möglich, sich nur auf die guten oder relevanten Teile zu konzentrieren.

Lass uns anfangen.


Lineare Algebra

Lineare Algebra ist ein Zweig der Mathematik, aber die Wahrheit ist, dass lineare Algebra die Mathematik der Daten ist. Matrizen und Vektoren sind die Sprache der Daten.

In der linearen Algebra geht es um Linearkombinationen. Das heißt, die Verwendung von Arithmetik mit Spalten von Zahlen, die Vektoren genannt werden, und Arrays von Zahlen, die Matrizen genannt werden, um neue Spalten und Arrays von Zahlen zu erstellen. Lineare Algebra ist das Studium von Linien und Ebenen, Vektorräumen und Abbildungen, die für lineare Transformationen erforderlich sind.

Es ist ein relativ junges Studiengebiet, das ursprünglich im 19. Jahrhundert formalisiert wurde, um Unbekannte in linearen Gleichungssystemen zu finden. Eine lineare Gleichung ist nur eine Reihe von Termen und mathematischen Operationen, bei denen einige Terme unbekannt sind; zum Beispiel:

y = 4 * x + 1

Gleichungen wie diese sind insofern linear, als sie eine Linie in einem zweidimensionalen Diagramm beschreiben. Die Linie entsteht durch das Einsetzen verschiedener Werte in das unbekannte x, um herauszufinden, was die Gleichung oder das Modell mit dem Wert von y macht.

Wir können ein Gleichungssystem gleicher Form mit zwei oder mehr Unbekannten aufstellen; zum Beispiel:

y = 0.1 * x1 + 0.4 * x2
y = 0.3 * x1 + 0.9 * x2
y = 0.2 * x1 + 0.3 * x2
...

Die Spalte von y-Werten kann als Spaltenvektor von Ausgaben aus der Gleichung genommen werden. Die beiden Spalten mit Gleitkommawerten sind die Datenspalten, z. B. a1 und a2, und können als Matrix A genommen werden. Die beiden unbekannten Werte x1 und x2 können als Koeffizienten der Gleichung genommen werden und bilden zusammen einen Vektor von Unbekannten b zu lösen. Wir können dies kompakt schreiben, indem wir die Notation der linearen Algebra verwenden als:

y = A . b

Probleme dieser Form sind im Allgemeinen schwierig zu lösen, da es mehr Unbekannte (hier haben wir 2) als Gleichungen zu lösen gibt (hier haben wir 3). Außerdem gibt es oft keine einzelne Linie, die alle Gleichungen fehlerfrei erfüllen kann. Systeme, die Probleme beschreiben, an denen wir häufig interessiert sind (z. B. eine lineare Regression), können unendlich viele Lösungen haben.

Dies gibt einen kleinen Vorgeschmack auf den Kern der linearen Algebra, der uns als Praktiker des maschinellen Lernens interessiert. Ein Großteil der restlichen Operationen dreht sich darum, dieses Problem und ähnliche Probleme leichter verständlich und lösbar zu machen.


Numerische lineare Algebra

Die Anwendung der linearen Algebra in Computern wird oft als numerische lineare Algebra bezeichnet.

„numerische“ lineare Algebra ist wirklich angewandte lineare Algebra.

Es ist mehr als nur die Implementierung von Operationen der linearen Algebra in Codebibliotheken; dazu gehört auch der sorgsame Umgang mit den Problemen der angewandten Mathematik, etwa der Umgang mit der begrenzten Fließkommagenauigkeit digitaler Rechner.

Computer sind gut darin, lineare Algebra-Berechnungen durchzuführen, und ein Großteil der Abhängigkeit moderner maschineller Lernmethoden wie Deep Learning von grafischen Verarbeitungseinheiten (GPUs) beruht auf ihrer Fähigkeit, lineare Algebra-Operationen schnell zu berechnen.

Effiziente Implementierungen von Vektor- und Matrixoperationen wurden ursprünglich in den 1970er und 1980er Jahren in der Programmiersprache FORTRAN implementiert, und viel Code oder Code, der von diesen Implementierungen portiert wurde, liegt einem Großteil der linearen Algebra zugrunde, die mit modernen Programmiersprachen wie Python ausgeführt wird.

Drei beliebte Open-Source-Bibliotheken für numerische lineare Algebra, die diese Funktionen implementieren, sind:

  • Paket für lineare Algebra oder LAPACK.
  • Basic Linear Algebra Subprograms oder BLAS (ein Standard für lineare Algebra-Bibliotheken).
  • Automatisch abgestimmte Software für lineare Algebra oder ATLAS.

Wenn Sie lineare Algebra-Operationen direkt oder indirekt über Algorithmen höherer Ordnung berechnen, wird Ihr Code sehr wahrscheinlich eine dieser oder ähnliche lineare Algebra-Bibliotheken verwenden. Der Name einer oder mehrerer dieser zugrunde liegenden Bibliotheken ist Ihnen vielleicht bekannt, wenn Sie eine der numerischen Bibliotheken von Python wie SciPy und NumPy installiert oder kompiliert haben.


Lineare Algebra und Statistik

Lineare Algebra ist ein wertvolles Werkzeug in anderen Zweigen der Mathematik, insbesondere in der Statistik.

Normalerweise wird von Studenten, die Statistik studieren, erwartet, dass sie mindestens ein Semester lineare Algebra (oder angewandte Algebra) im Grundstudium gesehen haben.

Angesichts der grundlegenden Beziehung, die beide Bereiche zum Bereich des angewandten maschinellen Lernens haben, ist es wichtig, die Auswirkungen der linearen Algebra zu berücksichtigen.

Einige klare Fingerabdrücke der linearen Algebra auf Statistik und statistische Methoden sind:

  • Verwendung von Vektor- und Matrixnotation, insbesondere bei multivariaten Statistiken.
  • Lösungen für kleinste Quadrate und gewichtete kleinste Quadrate, z. B. für die lineare Regression.
  • Schätzungen von Mittelwert und Varianz von Datenmatrizen.
  • Die Kovarianzmatrix, die eine Schlüsselrolle bei multinomialen Gaußschen Verteilungen spielt.
  • Hauptkomponentenanalyse zur Datenreduktion, die viele dieser Elemente zusammenführt.

Wie Sie sehen, sind moderne Statistik und Datenanalyse, zumindest was die Interessen eines Machine-Learning-Praktikers betrifft, auf das Verständnis und die Werkzeuge der linearen Algebra angewiesen.


Anwendungen der Linearen Algebra

Da die lineare Algebra die Mathematik der Daten ist, werden die Werkzeuge der linearen Algebra in vielen Bereichen verwendet.

In seinem klassischen Buch zum Thema mit dem Titel „ Einführung in die lineare Algebra “ stellt Gilbert Strang ein Kapitel zur Verfügung, das den Anwendungen der linearen Algebra gewidmet ist. Darin demonstriert er spezifische mathematische Werkzeuge, die in der linearen Algebra verwurzelt sind. Kurz gesagt sind sie:

  • Matrizen in der Technik, wie z. B. eine Reihe von Federn.
  • Graphen und Netzwerke, wie z. B. die Analyse von Netzwerken.
  • Markov-Matrizen, Bevölkerung und Wirtschaft, wie z. B. Bevölkerungswachstum.
  • Lineare Programmierung, die Simplex-Optimierungsmethode.
  • Fourier-Reihe: Lineare Algebra für Funktionen, weit verbreitet in der Signalverarbeitung.
  • Lineare Algebra für Statistik und Wahrscheinlichkeit, z. B. kleinste Quadrate für die Regression.
  • Computergrafik, wie die verschiedenen Übersetzungen, Neuskalierungen und Drehungen von Bildern.

Eine weitere interessante Anwendung der linearen Algebra ist die Art der Mathematik, die Albert Einstein in Teilen seiner Relativitätstheorie verwendet. Insbesondere Tensoren und Tensorrechnung. Er führte auch eine neue Art der linearen Algebra-Notation in die Physik ein, die Einstein-Notation oder die Einstein-Summenkonvention genannt wurde.


Zusammenfassung

In diesem Lernprogramm haben Sie eine sanfte Einführung in die lineare Algebra aus der Perspektive des maschinellen Lernens entdeckt.

Konkret haben Sie gelernt:

  • Lineare Algebra ist die Mathematik der Daten.
  • Lineare Algebra hat einen deutlichen Einfluss auf das Gebiet der Statistik gehabt.
  • Lineare Algebra liegt vielen praktischen mathematischen Werkzeugen wie Fourier-Reihen und Computergrafik zugrunde.

Quelle des Originalartikels unter https://machinelearningmastery.com

#linearalgebra #machinelearning #maths #mathematics

What is GEEK

Buddha Community

Einführung in die lineare Algebra aus Sicht des maschinellen Lernens
Bailee  Streich

Bailee Streich

1624447260

Course Review: Python for Linear Algebra

Because I am continuously endeavouring to improve my knowledge and skill of the Python programming language, I decided to take some free courses in an attempt to improve upon my knowledge base. I found one such course on linear algebra, which I found on YouTube. I decided to watch the video and undertake the course work because it focused on the Python programming language, something that I wanted to improve my skill in. Youtube video this course review was taken from:- (4) Python for linear algebra (for absolute beginners) — YouTube

The course is for absolute beginners, which is good because I have never studied linear algebra and had no idea what the terms I would be working with were.

Linear algebra is the branch of mathematics concerning linear equations, such as linear maps and their representations in vector spaces and through matrices. Linear algebra is central to almost all areas of mathematics.

Whilst studying linear algebra, I have learned a few topics that I had not previously known. For example:-

A scalar is simply a number, being an integer or a float. Scalers are convenient in applications that don’t need to be concerned with all the ways that data can be represented in a computer.

A vector is a one dimensional array of numbers. The difference between a vector is that it is mutable, being known as dynamic arrays.

A matrix is similar to a two dimensional rectangular array of data stored in rows and columns. The data stored in the matrix can be strings, numbers, etcetera.

In addition to the basic components of linear algebra, being a scalar, vector and matrix, there are several ways the vectors and matrix can be manipulated to make it suitable for machine learning.

I used Google Colab to code the programming examples and the assignments that were given in the 1 hour 51 minute video. It took a while to get into writing the code of the various subjects that were studied because, as the video stated, it is a course for absolute beginners.

The two main libraries that were used for this course were numpy and matplotlib. Numpy is the library that is used to carry out algebraic operations and matplotlib is used to graphically plot the points that are created in the program.

#numpy #matplotlib #python #linear-algebra #course review: python for linear algebra #linear algebra

Zenon  Pruschke

Zenon Pruschke

1658029980

Einführung in die lineare Algebra aus Sicht des maschinellen Lernens

In diesem Tutorial erfahren Sie, was genau lineare Algebra aus Sicht des maschinellen Lernens ist.

Nach Abschluss dieses Tutorials wissen Sie:

  • Lineare Algebra ist die Mathematik der Daten.
  • Lineare Algebra hat einen deutlichen Einfluss auf das Gebiet der Statistik gehabt.
  • Lineare Algebra liegt vielen praktischen mathematischen Werkzeugen wie Fourier-Reihen und Computergrafik zugrunde.

Was ist Lineare Algebra?

Lineare Algebra ist ein Gebiet der Mathematik, das allgemein als Voraussetzung für ein tieferes Verständnis des maschinellen Lernens gilt.

Obwohl die lineare Algebra ein großes Feld mit vielen esoterischen Theorien und Erkenntnissen ist, sind die Werkzeuge und Notationen, die aus dem Feld stammen, praktisch für Praktiker des maschinellen Lernens. Mit einer soliden Grundlage dessen, was lineare Algebra ist, ist es möglich, sich nur auf die guten oder relevanten Teile zu konzentrieren.

Lass uns anfangen.


Lineare Algebra

Lineare Algebra ist ein Zweig der Mathematik, aber die Wahrheit ist, dass lineare Algebra die Mathematik der Daten ist. Matrizen und Vektoren sind die Sprache der Daten.

In der linearen Algebra geht es um Linearkombinationen. Das heißt, die Verwendung von Arithmetik mit Spalten von Zahlen, die Vektoren genannt werden, und Arrays von Zahlen, die Matrizen genannt werden, um neue Spalten und Arrays von Zahlen zu erstellen. Lineare Algebra ist das Studium von Linien und Ebenen, Vektorräumen und Abbildungen, die für lineare Transformationen erforderlich sind.

Es ist ein relativ junges Studiengebiet, das ursprünglich im 19. Jahrhundert formalisiert wurde, um Unbekannte in linearen Gleichungssystemen zu finden. Eine lineare Gleichung ist nur eine Reihe von Termen und mathematischen Operationen, bei denen einige Terme unbekannt sind; zum Beispiel:

y = 4 * x + 1

Gleichungen wie diese sind insofern linear, als sie eine Linie in einem zweidimensionalen Diagramm beschreiben. Die Linie entsteht durch das Einsetzen verschiedener Werte in das unbekannte x, um herauszufinden, was die Gleichung oder das Modell mit dem Wert von y macht.

Wir können ein Gleichungssystem gleicher Form mit zwei oder mehr Unbekannten aufstellen; zum Beispiel:

y = 0.1 * x1 + 0.4 * x2
y = 0.3 * x1 + 0.9 * x2
y = 0.2 * x1 + 0.3 * x2
...

Die Spalte von y-Werten kann als Spaltenvektor von Ausgaben aus der Gleichung genommen werden. Die beiden Spalten mit Gleitkommawerten sind die Datenspalten, z. B. a1 und a2, und können als Matrix A genommen werden. Die beiden unbekannten Werte x1 und x2 können als Koeffizienten der Gleichung genommen werden und bilden zusammen einen Vektor von Unbekannten b zu lösen. Wir können dies kompakt schreiben, indem wir die Notation der linearen Algebra verwenden als:

y = A . b

Probleme dieser Form sind im Allgemeinen schwierig zu lösen, da es mehr Unbekannte (hier haben wir 2) als Gleichungen zu lösen gibt (hier haben wir 3). Außerdem gibt es oft keine einzelne Linie, die alle Gleichungen fehlerfrei erfüllen kann. Systeme, die Probleme beschreiben, an denen wir häufig interessiert sind (z. B. eine lineare Regression), können unendlich viele Lösungen haben.

Dies gibt einen kleinen Vorgeschmack auf den Kern der linearen Algebra, der uns als Praktiker des maschinellen Lernens interessiert. Ein Großteil der restlichen Operationen dreht sich darum, dieses Problem und ähnliche Probleme leichter verständlich und lösbar zu machen.


Numerische lineare Algebra

Die Anwendung der linearen Algebra in Computern wird oft als numerische lineare Algebra bezeichnet.

„numerische“ lineare Algebra ist wirklich angewandte lineare Algebra.

Es ist mehr als nur die Implementierung von Operationen der linearen Algebra in Codebibliotheken; dazu gehört auch der sorgsame Umgang mit den Problemen der angewandten Mathematik, etwa der Umgang mit der begrenzten Fließkommagenauigkeit digitaler Rechner.

Computer sind gut darin, lineare Algebra-Berechnungen durchzuführen, und ein Großteil der Abhängigkeit moderner maschineller Lernmethoden wie Deep Learning von grafischen Verarbeitungseinheiten (GPUs) beruht auf ihrer Fähigkeit, lineare Algebra-Operationen schnell zu berechnen.

Effiziente Implementierungen von Vektor- und Matrixoperationen wurden ursprünglich in den 1970er und 1980er Jahren in der Programmiersprache FORTRAN implementiert, und viel Code oder Code, der von diesen Implementierungen portiert wurde, liegt einem Großteil der linearen Algebra zugrunde, die mit modernen Programmiersprachen wie Python ausgeführt wird.

Drei beliebte Open-Source-Bibliotheken für numerische lineare Algebra, die diese Funktionen implementieren, sind:

  • Paket für lineare Algebra oder LAPACK.
  • Basic Linear Algebra Subprograms oder BLAS (ein Standard für lineare Algebra-Bibliotheken).
  • Automatisch abgestimmte Software für lineare Algebra oder ATLAS.

Wenn Sie lineare Algebra-Operationen direkt oder indirekt über Algorithmen höherer Ordnung berechnen, wird Ihr Code sehr wahrscheinlich eine dieser oder ähnliche lineare Algebra-Bibliotheken verwenden. Der Name einer oder mehrerer dieser zugrunde liegenden Bibliotheken ist Ihnen vielleicht bekannt, wenn Sie eine der numerischen Bibliotheken von Python wie SciPy und NumPy installiert oder kompiliert haben.


Lineare Algebra und Statistik

Lineare Algebra ist ein wertvolles Werkzeug in anderen Zweigen der Mathematik, insbesondere in der Statistik.

Normalerweise wird von Studenten, die Statistik studieren, erwartet, dass sie mindestens ein Semester lineare Algebra (oder angewandte Algebra) im Grundstudium gesehen haben.

Angesichts der grundlegenden Beziehung, die beide Bereiche zum Bereich des angewandten maschinellen Lernens haben, ist es wichtig, die Auswirkungen der linearen Algebra zu berücksichtigen.

Einige klare Fingerabdrücke der linearen Algebra auf Statistik und statistische Methoden sind:

  • Verwendung von Vektor- und Matrixnotation, insbesondere bei multivariaten Statistiken.
  • Lösungen für kleinste Quadrate und gewichtete kleinste Quadrate, z. B. für die lineare Regression.
  • Schätzungen von Mittelwert und Varianz von Datenmatrizen.
  • Die Kovarianzmatrix, die eine Schlüsselrolle bei multinomialen Gaußschen Verteilungen spielt.
  • Hauptkomponentenanalyse zur Datenreduktion, die viele dieser Elemente zusammenführt.

Wie Sie sehen, sind moderne Statistik und Datenanalyse, zumindest was die Interessen eines Machine-Learning-Praktikers betrifft, auf das Verständnis und die Werkzeuge der linearen Algebra angewiesen.


Anwendungen der Linearen Algebra

Da die lineare Algebra die Mathematik der Daten ist, werden die Werkzeuge der linearen Algebra in vielen Bereichen verwendet.

In seinem klassischen Buch zum Thema mit dem Titel „ Einführung in die lineare Algebra “ stellt Gilbert Strang ein Kapitel zur Verfügung, das den Anwendungen der linearen Algebra gewidmet ist. Darin demonstriert er spezifische mathematische Werkzeuge, die in der linearen Algebra verwurzelt sind. Kurz gesagt sind sie:

  • Matrizen in der Technik, wie z. B. eine Reihe von Federn.
  • Graphen und Netzwerke, wie z. B. die Analyse von Netzwerken.
  • Markov-Matrizen, Bevölkerung und Wirtschaft, wie z. B. Bevölkerungswachstum.
  • Lineare Programmierung, die Simplex-Optimierungsmethode.
  • Fourier-Reihe: Lineare Algebra für Funktionen, weit verbreitet in der Signalverarbeitung.
  • Lineare Algebra für Statistik und Wahrscheinlichkeit, z. B. kleinste Quadrate für die Regression.
  • Computergrafik, wie die verschiedenen Übersetzungen, Neuskalierungen und Drehungen von Bildern.

Eine weitere interessante Anwendung der linearen Algebra ist die Art der Mathematik, die Albert Einstein in Teilen seiner Relativitätstheorie verwendet. Insbesondere Tensoren und Tensorrechnung. Er führte auch eine neue Art der linearen Algebra-Notation in die Physik ein, die Einstein-Notation oder die Einstein-Summenkonvention genannt wurde.


Zusammenfassung

In diesem Lernprogramm haben Sie eine sanfte Einführung in die lineare Algebra aus der Perspektive des maschinellen Lernens entdeckt.

Konkret haben Sie gelernt:

  • Lineare Algebra ist die Mathematik der Daten.
  • Lineare Algebra hat einen deutlichen Einfluss auf das Gebiet der Statistik gehabt.
  • Lineare Algebra liegt vielen praktischen mathematischen Werkzeugen wie Fourier-Reihen und Computergrafik zugrunde.

Quelle des Originalartikels unter https://machinelearningmastery.com

#linearalgebra #machinelearning #maths #mathematics

Linear Algebra: The hidden engine of machine learning

Algebra is firstly taken from a book, written by Khwarizmi(780-850 CE), which is about calculation and equations. It is a branch of mathematics in which letters are used instead of numbers. Each letter can represent a specific number in one place, and a completely different number in another. Notations and symbols are also used in algebra to show the relationship between numbers. I remember about 17 years ago when I was an ordinary student in applied mathematics(ordinary graduate today!), I was so curious about some research in algebra, done by Maryam Mirzakhani(1977–2017), at Harvard University about analogous counting problem. This science has evolved a lot throughout history and now includes many branches.

Elementary algebra includes basic operations on four main operations. After defining the signs by which fixed numbers and variables are separated, methods are used to solve the equations. A polynomial is an expression that is the sum of a finite number of non-zero terms, each term consisting of the product of a constant and a finite number of variables raised to whole number powers.

Abstract algebra or modern algebra is a group in the algebra family that studies advanced algebraic structures such as groups, rings, and fields. Algebraic structures, with their associated homomorphisms, form mathematical categories. Category theory is a formalism that allows a unified way for expressing properties and constructions that are similar for various structures. Abstract algebra is so popular and used in many fields of mathematics and engineering sciences. For instance, algebraic topology uses algebraic objects to study topologies. The Poincaré conjecture proved in 2003, asserts that the fundamental group of a manifold, which encodes information about connectedness, can be used to determine whether a manifold is a sphere or not. Algebraic number theory studies various number rings that generalize the set of integers.

I believe that the most influencing branch of algebra in other sciences is linear algebra. Let’s suppose that you went out for jogging, that can’t be easy these days with Covid-19 lockdown, and suddenly a beautiful flower catches all your attention. Please don’t be rush and pick it, just take a picture, others can enjoy it, as well. After a while when you look at this picture, you can recognize the flower in the image, because the human brain has evolved over millions of years and able to detect such a thing. We are unaware of the operations that take place in the background of our brains and enable us to recognize the colors in the image, they are trained to do this for us automatically. But, it’s not easy to do such a thing with a machine, that’s why this is one of the most active research areas in machine learning and deep learning. Actually, the fundamental question is: “How does a machine store this image?” You probably know that today’s computers are designed to process only two numbers, 0 and 1. Now, how can an image like this with different features be stored? This is done by storing the pixel intensity in a structure called a “matrix”.

The main topics in linear algebra are vectors and matrices. Vectors are geometric objects that have length and direction. For example, we can mention speed and force, both of which are vector quantities. Each vector is represented by an arrow whose length and direction indicate the size and direction of the vector.

The addition of two or more vectors can be done based on ease of use using parallelogram methods or the method of images in which each vector is decomposed into its components along the coordinate axes. A vector space is a collection of vectors, which may be added together and multiplied by scalars. Scalars generally can be picked up from any field but normally are real numbers.

#matrice #machine-learning #linear-algebra #algebra #deep-learning #deep learning

Lecture to Vision of Linear Algebra: A New Way to Start Linear Algebra

Lecture to Vision of Linear Algebra: A New Way to Start Linear Algebra
Professor Strang describes independent vectors and the column space of a matrix as a good starting point for learning linear algebra. His outline develops the five shorthand descriptions of key chapters of linear algebra.

#algebra #spring #machinelearning 

 

Myah  Conn

Myah Conn

1593083880

Linear Algebra from Strang.

Professor Strang’s — Introduction to Linear Algebra — is an incredible journey into the hart of Linear Algebra. Over the next few articles I aim to illuminate some of the sections in the light of Python. Enjoy!

In this article I want to look into a special class of matrices, _projection matrices. _First looking at some fairly intuitive projection matrices that project lines in 3D onto the orthonormal basis they are defined in. Secondly we will look at how you can project any arbitrary vector onto a line. We will then finish off by generalising to how we can define a projection matrix for any plane.

All the way along we will translate these ideas into the language of python using vanilla numpy and plotly for the visuals.

A note before you start. You should have an understanding of basic matrix operations before reading this article, for example inner and outer products.

Projection matrices

Given some n dimensional vector, v = (a1, a2, …, an) we can consider projections of this vector onto various subspaces in Rn. We describe these projections with, you guessed it, projection matrices.

Let’s restrict ourselves to three dimensions. Then we can describe the projection matrices that project a vector v onto the z axis and xy plane respectively.

Projection matrices. When acting on a 3 dimensional column vector they pick out the components in the z and xy plane respectively.

Lets say we have some vector v then we can project this matrix onto the z axis like so

We can see that the projection matrix picks out the components of v that point in the plane/line we wish to project onto. Strang describes the purpose of a projection matrix as follows.

#python #mathematics #matrix #linear-algebra #data-science