Celem uczenia ciągłego jest stopniowe powiększanie wiedzy modelu na podstawie nieskończonego źródła danych.
Zapominanie katastroficzne (catastrophic forgetting) jest zjawiskiem, w którym model ucząc się nowych lub kolejnych rzeczy, nadpisuje/zapomina nauczonych się wcześniej rzeczy.
Rozróżniamy trzy podstawowe „scenariusze” uczenia ciągłego:
Uczenie inkrementacyjne (task-incremental learning)
Model uczy się za pomocą różnych tasków rozpoznawania, estymacji, np klasyfikacja zwierzat w każdym tasku:
| Task 1 | Task 2 | Task 3 |
| Pies, Kot | Koń, Sarna | Królik, ptak |
Celem uczenia sekwencyjnego jest rozszerzenie możliwości modelu wraz z zachowaniem obecnej wiedzy nauczonych w poprzednich taskach.
Jednym z efektywnych podejść jest jest zbudowanie indywidualnej sieci lub podsieci dla każdego z tasków, natomiast prowadzi to do niekontrolowanego zwiększenia wzrostu pamięci.
Metodami SOTA (State-of-the-art) są zbudowanie indywidualnych modeli dla każdego z tasków.
Obecnymi bottleneckami są:
Złożoność pamięciowa (…)
Uczenie domenowe (Domain-incremental learning)
Model uczy się na podstawie tasków tego samego rodzaju, ale w innym kontekście np. rozpoznawanie określonego obiektu na zewnątrz, a później w pomieszczeniu.
Uczenie klasowe (class-incremental learning)
Model uczy się ?