Ausreißer berechnen

1. Erfahren Sie, wie Sie potenzielle Ausreißer erkennen. Bevor wir entscheiden können, ob wir anomale Werte aus einem bestimmten Datensatz entfernen, müssen wir natürlich die möglichen Ausreißer im Datensatz erkennen. Im Allgemeinen sind Ausreißer die Datenpunkte, die deutlich vom Trend abweichen, die die anderen Werte in der eingestellten Form bilden – also sie schießen der anderen Werte. In Tabellen und (insbesondere) in Grafiken ist dies meist leicht zu erkennen. Wenn der Datensatz visuell grafisch dargestellt wird, sind die Ausreißer „weit entfernt“ von den anderen Werten. Wenn beispielsweise die meisten Punkte in einem Datensatz eine gerade Linie bilden, stimmen Ausreißer nicht mit dieser Linie überein.

• Schauen wir uns einen Datensatz an, der die Temperaturen von 12 verschiedenen Objekten in einem Raum zeigt. Schwankt die Temperatur von 11 Objekten um nur wenige Grad um 21°C, während ein Objekt, ein Ofen, eine Temperatur von 150°C hat, erkennt man auf den ersten Blick, dass der Ofen wahrscheinlich ein Ausreißer ist.

2. Alle Datenpunkte von niedrig nach hoch sortieren. Der erste Schritt bei der Berechnung von Ausreißern besteht darin, den Medianwert (oder den Mittelwert) des Datensatzes zu ermitteln. Diese Aufgabe wird viel einfacher, wenn die Werte im Set vom niedrigsten zum höchsten geordnet sind. Bevor Sie fortfahren, sortieren Sie die Werte in Ihrem Datensatz wie folgt.

3. Berechnen Sie den Median des Datensatzes. Der Median eines Datensatzes ist der Datenpunkt, an dem sich die Hälfte der Daten darüber und die Hälfte der Daten darunter befindet - er ist im Grunde das "Zentrum" des Datensatzes. Enthält der Datensatz eine ungerade Anzahl von Punkten, ist der Median leicht zu finden – der Median ist der Punkt mit so vielen Punkten darüber wie darunter. Wenn es eine gerade Anzahl von Punkten gibt, müssen Sie den Durchschnitt der beiden Mittelpunkte nehmen, um den Median zu ermitteln, da es keinen Mittelpunkt gibt. Bei der Berechnung von Ausreißern wird der Median normalerweise mit der Variablen Q2 bezeichnet – da er zwischen Q1 und Q3 liegt, dem ersten und dritten Quartil. Wir werden diese Variablen später bestimmen.

4. Berechnen Sie das erste Quartil. Dieser Punkt, den wir als Variable Q1 bezeichnen, ist der Datenpunkt, unter dem 25 Prozent (oder ein Viertel) der Beobachtungen liegen. Mit anderen Worten, dies ist der Mittelpunkt aller Punkte in Ihrem Datensatz unter der Median. Liegt eine gerade Anzahl von Werten unterhalb des Medians, müssen Sie die beiden mittleren Werte erneut mitteln, um Q1 zu finden, wie Sie es vielleicht schon getan haben, um den Median selbst zu bestimmen.

5. Berechnen Sie das dritte Quartil. Dieser Punkt, den wir mit der Variablen Q3 bezeichnen, ist der Datenpunkt, über dem 25 Prozent der Daten liegen. Das Finden von Q3 ist praktisch dasselbe wie das Finden von Q1, außer dass wir in diesem Fall die Punkte betrachten Oben der Median.

6. Finden Sie den Interquartilsabstand. Nachdem wir nun Q1 und Q3 bestimmt haben, müssen wir den Abstand zwischen diesen beiden Variablen berechnen. Der Abstand zwischen Q1 und Q3 kann durch Subtraktion von Q1 von Q3 . ermittelt werden. Der Wert, den Sie für den Interquartilabstand erhalten, ist entscheidend, um die Grenzen für nicht abweichende Punkte in Ihrem Datensatz zu bestimmen.

7. Finden Sie die „inneren Grenzen“ des Datensatzes. Sie können Ausreißer identifizieren, indem Sie feststellen, ob sie innerhalb einer Reihe von numerischen Grenzen liegen. die sogenannten „inneren Grenzwerte“ und „äußeren Grenzwerte“. Ein Punkt, der außerhalb der inneren Grenzen des Datensatzes liegt, wird als a . klassifiziert leichter Ausreißer, und ein Punkt, der außerhalb der äußeren Grenzen liegt, wird als a . klassifiziert extremer Ausreißer. Um die inneren Grenzen Ihres Datensatzes zu finden, multiplizieren Sie zuerst den Interquartilabstand mit 1,5. Addiere das Ergebnis zu Q3 und subtrahiere es von Q1. Die beiden Ergebnisse sind die inneren Grenzen Ihres Datensatzes.

8. Finden Sie die „äußeren Grenzen“ des Datensatzes. Sie machen dies genauso wie bei den inneren Schranken, mit dem einzigen Unterschied, dass Sie den Interquartilabstand mit 3 statt mit 1,5 . multiplizieren. Dann addieren Sie das Ergebnis zu Q3 und subtrahieren von Q1, um die äußeren Grenzen zu finden.

9. Verwenden Sie eine qualitative Bewertung, um festzustellen, ob Sie die Ausreißer „verwerfen“ sollten. Mit obiger Methode können Sie feststellen, ob es sich bei bestimmten Punkten um leichte Ausreißer, extreme Ausreißer oder gar keine Ausreißer handelt. Aber machen Sie keinen Fehler – einen Punkt als Ausreißer zu erkennen macht ihn nur zu einem Kandidat aus dem Datensatz entfernt werden, und nicht sofort ein Punkt entfernt muss einbiegen in. Der Ritt warum sich ein Ausreißer von den übrigen Punkten in der Menge unterscheidet, ist entscheidend für die Entscheidung, ob der Ausreißer entfernt werden sollte. Im Allgemeinen werden Ausreißer, die durch einen Fehler verursacht wurden - beispielsweise ein Fehler in den Messungen, in den Aufzeichnungen oder im Versuchsdesign - entfernt. Im Gegensatz dazu sind Ausreißer, die nicht durch Fehler verursacht werden und neue, unvorhergesehene Informationen oder Trends offenbaren, in der Regel nicht gelöscht.

10. Verstehen Sie, wie wichtig es ist, (manchmal) Ausreißer zu behalten. Während einige Ausreißer aus einem Datensatz entfernt werden sollten, weil sie das Ergebnis von Fehlern sind oder die Ergebnisse irreführend verzerren, sollten andere Ausreißer beibehalten werden. Wurde beispielsweise ein Ausreißer korrekt ermittelt (also nicht das Ergebnis eines Fehlers) und/oder liefert der Ausreißer einen neuen Einblick in das zu messende Phänomen, sollte er nicht sofort entfernt werden. Wissenschaftliche Experimente sind besonders sensible Situationen, wenn es um den Umgang mit Ausreißern geht – das irrtümliche Entfernen eines Ausreißers kann bedeuten, dass wichtige Informationen über einen neuen Trend oder eine neue Entdeckung verworfen werden.