Semanlink - News

> **Part of what makes LoRA so effective is that ... it’s stackable.**
>
> By contrast, training giant models from scratch not only
throws away the pretraining, but also any iterative
improvements that have been made on top.

> LoRA updates are very cheap to produce (~$100) for the
most popular model sizes.

> Many of these projects are saving time by training on
small, highly curated datasets...
> These
datasets are built using synthetic methods (e.g. filtering
the best responses from an existing model) and
scavenging from other projects

> Directly Competing With Open Source
Is a Losing Proposition

> Paradoxically, the one clear winner in all of this is Meta.
Because the leaked model was theirs ([LLaMA](tag:llama)), they have
effectively garnered an entire planet's worth of free labor.
Since most open source innovation is happening on top of
their architecture, there is nothing stopping them from
directly incorporating it into their products.

2023-05-04 About

Lenka Zdeborova sur Twitter : "Let me post the concluding slide from my talk today at the ICLR workshop on Mathematical and Empirical Understanding of Foundation Models"

Tags:

2023-05-04 About

ICLR 2023 Workshop on Mathematical and Empirical Understanding of Foundation

Tags:

2023-05-04 About

openai/evals: Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.

Tags:

2023-05-04 About

Le Sénat épingle le lobby des pesticides, accusé de chantage à l’emploi mensonger

Tags:

2023-05-03 About

Andrej Karpathy sur Twitter : "Excellent TED talk from Sal Khan: - many inspiring examples of GPTs finetuned into socratic tutors, assisting without giving away answers...

Tags:

2023-05-02 About

A Single Vector Is Not Enough: Taxonomy Expansion via Box Embeddings | Proceedings of the ACM Web Conference 2023

Tags:

2023-05-02 About

Au Mexique, au cœur de la bataille pour l’eau

Tags:

2023-05-01 About

‘The Godfather of AI’ Quits Google and Warns of Danger Ahead - The New York Times

Tags:

2023-05-01 About

Le Conseil des droits de l’homme appelle la France à « repenser ses politiques en matière de maintien de l’ordre »

Tags:

2023-05-01 About

Jerry Liu sur Twitter : "LlamaIndex now makes it super easy for you to define custom retrieval for LLM’s... an example of how you can define your *own* (simplified) hybrid search with @gpt_index"

Tags:

2023-04-29 About

Yoshua Bengio, chercheur : « Aujourd’hui, l’intelligence artificielle, c’est le Far West ! Nous devons ralentir et réguler »

Tags:

2023-04-29 About

Yann Le Cun, directeur à Meta : « L’idée même de vouloir ralentir la recherche sur l’IA s’apparente à un nouvel obscurantisme »

Tags:

Interviews concomitantes de [Bengio](doc:2023/04/yoshua_bengio_chercheur_«_au) et LeCun par le Monde

> Ce qui est en cause dans les phénomènes de
désinformation, c’est moins le volume de production des
contenus problématiques que leur capacité à être
diffusés... La production ne
contribue pas à la dissémination.

(pour la dissémination, on a déjà Facebook)

> En matière de désinformation, l’IA n’est pas le
problème mais la solution

(good point)

[Pause Giant AI Experiments](tag:pause_giant_ai_experiments)? obscurantisme, et irréaliste

> le progrès, qu’il soit
scientifique ou social, dépend étroitement de
l’intelligence

oui, il faut mieux miser sur l'intelligence - mais pas forcément sur celle des humains qui auront entre leurs mains le pouvoir conféré par ces super-IA

> Ma priorité, en tant que chercheur, c’est de trouver le
moyen de rendre ces systèmes pilotables. (#[AI alignment](tag:ai_alignment))

> faut-il
continuer la recherche ouverte ? En ce qui me concerne,
la réponse est « oui ».

2023-04-29 About

Aran Komatsuzaki sur Twitter : "JaxPruner: A concise library for sparsity research An open-source JAX-based pruning and sparse training library for machine learning research repo"

Tags:

2023-04-28 About