Geoffrey Hinton, az egyetem professzora Torontói Egyetem és mérnöki munkatárs a Google agy, a közelmúltban publikált egy tanulmányt a Előre-Előre algoritmus (FF), a neurális hálózatok betanítására szolgáló technika, amely két előremenő adatátvitelt használ a hálózaton keresztül ahelyett, hogy visszaszaporítás, a modell súlyainak frissítéséhez.

Hinton motivációja az algoritmussal kapcsolatban az, hogy kiküszöbölje a standard backpropagation képzés néhány hiányosságát, amely megköveteli az előrelépésben végzett számítások teljes ismeretét a deriváltok kiszámításához és az aktiválási értékek tárolásához a képzés során. Hinton meglátása szerint két előrehaladó bemeneti adatot használ – egyet pozitív és egy negatív— amelyeknek ellentétes célfüggvényei vannak, amelyeket optimalizálni kell. Hinton kimutatta, hogy az FF-vel betanított hálózatok képesek számítógépes látás (CV) feladatok elvégzésére, valamint a visszaszaporítással kiképzett hálózatok. Hinton szerint

A Forward-Forward algoritmus (FF) sebessége összehasonlítható a visszaszaporítással, de megvan az az előnye, hogy akkor is használható, ha az előre irányuló számítás pontos részletei nem ismertek. Az is előnye, hogy képes tanulni, miközben szekvenciális adatokat továbbít egy neurális hálózaton keresztül anélkül, hogy a neurális tevékenységeket eltárolná, vagy leállna a hibaszármazékok terjesztésében… a kéregben való tanulás és a nagyon alacsony fogyasztású analóg hardver használatának módja a megerősítő tanulás igénybevétele nélkül.

Bár a mesterséges neurális hálózatok (ANN) a az agy matematikai modellje, az ezeknek a hálózatoknak a betanításához használt szabványos visszaterjesztési algoritmus nem alapul semmilyen ismert biológiai folyamaton. Amellett, hogy biológiailag valószínűtlen, a visszaszaporításnak van néhány számítási hátránya is, amint azt fentebb megjegyeztük. Hinton rámutat arra, hogy az ANN-okat megerősítő tanulással (RL) lehet betanítani, visszaterjesztés nélkül, de ez a technika „rosszul skálázható… sok millió vagy milliárd paramétert tartalmazó nagy hálózatoknál”. 2021-ben az InfoQ a visszaszaporítás biológiailag elfogadható alternatíváját fedte le zéró eltérésű következtetés tanulás (Z-IL), amely pontosan képes reprodukálni a visszaszaporítás eredményeit.

A Hinton FF algoritmusa a visszaterjesztő képzés előre-hátra lépéseit két előre haladással helyettesíti, amelyek „ugyanúgy működnek, mint egymással”. Az első előrelépés egy betanító készlet pozitív adatain működik, és a hálózati súlyokat úgy állítják be, hogy ez a bemenet növelje a réteg legjobb érték. A második előremenetben a hálózat egy generált negatív példát kap, amely nem az adatkészletből származik. A hálózati súlyok úgy vannak beállítva, hogy ez a bemenet csökkentse a réteg jóságát.

Hinton az FF-t használta több neurális hálózat betanítására CV-feladatok elvégzésére MNIST és a CIFAR adatkészletek. A hálózatok viszonylag kicsik voltak, két vagy három rejtett konvolúciós réteget tartalmaztak, és kevesebb mint 100 korszakra képezték őket. A tesztadatkészleteken értékelve az FF által kiképzett hálózatok „csak valamivel rosszabbul” teljesítettek, mint a visszaszaporítással betanított hálózatok.

Diego Fiori, a Nebuly műszaki igazgatója megvalósította Hinton FF algoritmusát és megbeszélte eredményeit Twitteren:

Hinton tanulmánya 2 különböző Forward-Forward algoritmust javasolt, amelyeket Base és Recurrent néven neveztem el. Nézzük meg, hogy a név ellenére miért a Base a legteljesítményesebb algoritmus… a Base FF algoritmus sokkal memóriahatékonyabb lehet, mint a klasszikus backprop, akár 45%-os memóriamegtakarítással a mély hálózatok esetében.