-> English

News - 26/1/2020. Andrea Turso.

GPT-2 Model trained & fine-tuned with DSM: Diagnostic and Statistical Manual of Mental Disorders.

"GPT-2 is a large transformer-based language model with 1.5 billion parameters, trained on a dataset of 8 million web pages. GPT-2 is trained with a simple objective: predict the next word, given all of the previous words within some text."

Abbiamo addestrato il modello GPT-2 di OpenAI utilizzando il Manuale diagnostico e statistico dei disturbi mentali (DSM-*).

Per farlo abbiamo utilizzato il servizio Cloud di Google (utilizzando una scheda Nvidia TESLA T4) e Tensorflow come tool ed il modello medium 355M (6.07).

Nella fase di tuning abbiamo addestrato il modello utilizzando il testo dei manuali DSM a partire dall'edizione del 1952 che abbiamo preparato e strutturato per l'operazione.

I risultati sono stati sorprendenti, come potete vedere da alcuni esempi riportati in questa pagina.

Questo esercizio ci ha consentito di provare e studiare tool e modelli che rappresentano ad oggi lo stato dell'arte ma, soprattutto, ci hanno dato la possibilità di farci delle domande sull'uso di queste tecnologie.

Pur essendo lontani da applicazioni pratiche i risultati sono sicuramente suggestivi e ci aiutano a riflettere.

Di seguito un esempio di testo generato dal modello addestrato, completamente non supervisionato:

: "The problem is not with the individual, but rather with the social norms of his or her culture."

Suggestivo, vero? L'aspetto più interessante del modello è che dimostra chiaramente come sia possibile eseguire task di NLP - Natural Language Processing come comprensione e sintesi del testo senza esplicita supervisione.

In un futuro prossimo le tecnologie di Natural Language Processing ci consentiranno di sviluppare interfacce per operatori e dei "chatbot" con capacità di sintesi e generazione di testo in un contesto applicativo specifico. Abbiamo già avviato alcune sperimentazioni del modello GPT-2 in tal senso e i risultati sono promettenti.

Per approfondimenti su GPT-2 vi rimandiamo al paper ufficiale.

About

Image: Google Cloud TPU.

GPT-2 Author @ OpenAI. Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya. 2019

About
About

Vuoi leggere altri risultati del modello GPT-2 + DSM* ?

Seguono alcuni esempi di testo generato a seguito di una singola parola ("prefix").

Il testo generato non è stato modificato!

Prefix: "Society".

: Society ), be turned over to law-enforcement agencies for monitoring. A "Mile or Level" Approach to Classification of Individuals G [62] refers to a system of hierarchical categorical categorization that is part of DSM Organization's grand strategy to map and categorize humanity according to a set of categorical dogmas and limitations of reference. Within each of these groups, there exists an "A" according to which each individual takes part in a particular domain, brings up an awareness that includes all aspects of humanity (intellectual, emotional, perceptual, sociocultural), and embodies one of the six broad dogmatic concepts of pathological functioning (Stokes 2009:310-311). Speech must be distinguished from acute alteregration (presence, rigidity, or quibbling), a feature common to all of the schizophrenia disorders, which are subtypes of one another (Schizophrenia, pathological functioning, discourse). Gives meaning to a disorder of measurement enjoiid with frequent occurrence and continually depends on what system of labels is used to construct a symptom classification. Interprets the diagnosis as merely

Prefix: "Why is a raven like a writing desk?" (from Alice in Wonderland - Lewis Carroll ).

: Why is a raven like a writing desk? The blankness and lack of interest found in academic research are a feature of literate distress. In a general society, ordinary human sorrow and misery is regarded as an inconvenient and a source of suffering, and the individual's capacity to feel it is grossly under stood up as "not belonging." When, for example, a family member is feeling unusually sad, the individual may very well conclude that their grief is not truly "hard on the bum." . (SIC!)

Prefix: "BAZINGA" (Sheldon's gibberish).

: Bazinga, Bipolar I, 2nd Edition Ellis, M.D., M.P.H. Catastrophic traumatic brain injury. Caffeine addiction. Opioid use disorder. Chronic alcohol misuse caffeine addiction.