• @keepthepace@slrpnk.net
      link
      fedilink
      Français
      15 months ago

      Oui, Le Cun a beaucoup sous-estimé les LLMs de type GPT dans le passé. Et il est en bonne compagnie là dessus hein, ils ont surpris tout le monde par leurs capacités émergentes. C’est pour ça que je trouve que la thèse de Le Cun bien que défendable ne devrait pas l’être avec un ton si péremptoire.

      Même l’histoire des engrenages, bien prompté, GPT4 y arrive, mais c’est bien plus difficile pour lui que des tâches normalement plus ardues. Il met le doigt sur une faiblesse intéressante, que lui argue bloquante, qui ne l’est peut être pas, mais il est très raisonnable de penser que d’explorer cette faiblesse et de la compenser pourrait booster les compétences de ces modèles.

      Et il est intéressant de comprendre également pourquoi le raisonnement de Le Cun est faux dans la vidéo présentée: il a peut-être raison sur le fait que probablement aucun texte ne dit explicitement qu’un objet posé sur une table suit la table, mais beaucoup de textes le supposent implicitement et GPT-4 arrive à apprendre ces informations implicites.

      • neuralnerd
        link
        fedilink
        Français
        15 months ago

        beaucoup de textes le supposent implicitement et GPT-4 arrive à apprendre ces informations implicites.

        Oui, et on peut facilement imaginer qu’en entraînant des modèles similaires en plus sur des vidéos ils pourraient acquérir un bon modèle du monde physique.