sl:creationDate : 2019-01-29
  • Cheatsheet · fastText (About)
    2019-01-29
  • Using FastText models (not vectors) for robust embeddings | Kaggle (About)
    2019-01-29
  • Paris NLP Season 3 Meetup #3 at Doctrine – Paris NLP (About)
    Trois présentations : - une première décrivant l'utilisation de données textuelles dans le cadre de la conception d'une opération marketing (définition de l'orientation à donner à l'image d'une marque). Les techniques NLP utilisées sont simples, mais leur utilisation comme outil pour aider les créatifs du marketing est originale. - une deuxième dans le domaine juridique, très intéressante en termes de techniques mises en oeuvre. L'application vise à la valorisation de bases de contrats (un corpus de textes, sur lequel on souhaite effectuer des recherches complexes), en s'appuyant à la fois sur les techniques récentes de représentation de textes, et sur un knowledge graph (ontologie de termes juridiques). Pour ce qui est de le représentation de textes, ils utilisent Google BERT. Ce que permet BERT, c'est une forme de transfert d'apprentissage : BERT est un réseau de neurones profond entrainé de façon non supervisée, par et chez Google, sur une énorme quantité de textes, de façon à emmagasiner une connaissance sur une langue ("pre-trained language model"). Ces données (c'est à dire ce réseau pré-entrainé) sont mises à disposition par Google. Chacun peut ainsi affiner l'entrainement du réseau sur son propre corpus de textes, et ses propres données labellisées concernant le problème qu'il souhaite effectivement résoudre (par exemple, dans le cas juridique, la reconnaissance d'entités dans les contrats). Le speaker rapporte des résultats sensiblement améliorés par rapport à ce qu'ils obtenaient auparavant en ce qui concerne la qualité de la représentation de phrases, et des problèmes de type classification de phrases ou reconnaissance d'entités (il note que la représentation de textes longs reste un problème ouvert). Les temps d'entrainement de BERT sur leur problème ne sont pas exorbitants (il parle de quelques heures de GPU, pas de jours ou de semaines de TPU comme pour l'entrainement initial). - le dernier speaker quant à lui a présenté deux papiers de recherche, justement sur les techniques au cœur de BERT ("Transformer architecture").
    2019-01-29
  • Spiking Neural Networks, the Next Generation of Machine Learning (About)
    2019-01-29
  • Training deep neural networks for binary communication with the Whetstone method | Nature Machine Intelligence (About)
    > Here, we describe a new approach to training SNNs, where the ANN training is to not only learn the task, but to produce a SNN in the process. Specifically, if the training procedure can include the eventual objective of low-precision communication between nodes, the training process of a SNN can be nearly as effective as a comparable ANN. This method, which we term Whetstone inspired by the tool to sharpen a dull knife, is intentionally agnostic to both the type of ANN being trained and the targeted neuromorphic hardware. Rather, the intent is to provide a straightforward interface for machine learning researchers to leverage the powerful capabilities of low-power neu-romorphic hardware on a wide range of deep learning applications Whetstone can train neural nets through Keras to be "spiking" without an expansion of the network or an expensive temporal code
    2019-01-29
  • Querying machine learning distributional semantics with SPARQL - bobdc.blog (About)
    2019-01-29
  • Run NLP Experiments using the Feedly API.ipynb - Colaboratory (About)
    Colaboratory notebook that shows how you can apply ML and NLP to the content of your own @feedly feeds.
    2019-01-29