Maschinelles Lernen
Epileptische Anfälle vorhersagen
Fortsetzung des Artikels von Teil 1
Verbesserung der Vorhersagegenauigkeit
Im nächsten Schritt erfolgte dann die Verbesserung der Leistung der beiden Machine-Learning-Modelle, die von der Classification-Learner-App als am vielversprechendsten identifiziert worden waren: quadratische Support Vector Machines (SVM) und Random Undersampling (RUS)-Entscheidungsbäume mit Boosting. Nach dem Test verschiedener Merkmale und Periodenlängen wurden schließlich die 80-Sekunden-, 160-Sekunden- und 240-Sekunden-Periodenlängen als die identifiziert, die für die Klassifikation am wichtigsten sind (Bild 3).
Um die Genauigkeit der Algorithmen zu verbessern, wurden verschiedene Techniken ausprobiert, einschließlich der Optimierung von Hyperparametern. Eine der effektivsten Techniken war, durch die Kombination von SVM mit den RUS-Baummodellen mit Boosting ein Ensemble-Klassifizierer zu implementieren.
Die Mittelung der Vorhersagen der beiden Modelle führte zu einer deutlichen Verbesserung der Genauigkeit, wodurch der Ensemble-Klassifizierer besser abschnitt, als jedes seiner Komponenten-Modelle für sich genommen. Die Ergebnisse waren die folgenden:
- SVM alleine: ~0,65 AUC
- RUS alleine: ~0,72 AUC
- SVM und RUS zusammen: ~0,80 AUC C
Die Organisatoren testeten die Algorithmen mit Daten, die die Teilnehmer zuvor nicht kannten. Für die Bewertung der Algorithmen berechneten die Verantwortlichen außerdem die Fläche unter der Grenzwertoptimierungskurve (area under the receiver operating characteristic curve (AUC)) . Damit alle Teilnehmer nachverfolgen konnten, wie gut ihre Algorithmen im Vergleich zu denen der Mitbewerber abgeschnitten haben, wurden die Ergebnisse dieser Bewertung auf einer regelmäßig aktualisierten Bestenliste veröffentlicht.
Erster Schritt in Richtung verbessertes Epilepsie-Management
Aus klinischer Sicht ist es wichtig, Modelle zu erstellen, die generell für alle Patienten verwendet werden können, und mit denen Vorhersagen für neue Personen getroffen werden können, statt für jeden einzelnen Patienten verschiedene Klassifizierer zu trainieren. Es muss sich jedoch erst noch zeigen, wie effektiv dieses allgemeine Modell bei der Vorhersage für neue Patienten ist.
Um das herauszufinden, integrierten Forscher an der Universität in Melbourne die Algorithmen in eine klinische Studie. Mit Daten, die im Rahmen des Wettbewerbs nicht zugänglich waren, wollen sie diese weiter bewerten und optimieren.
Hier geht’s zur vollständigen Ausgabe.
- Epileptische Anfälle vorhersagen
- Verbesserung der Vorhersagegenauigkeit
