Técnicas de processamento e geração de linguagem natural

Abstract

Este trabalho almeja desenvolver um sistema automatizado capaz de imitar a obra de determinado autor. Tais “dublês digitais” já existem para imagens e vídeos, onde são chamados de Transferência de Estilo Neural e Deep Fakes, respectivamente. Portanto focaremos apenas em meios escritos, como contos e livros. Modelos atuais de última geração que tenham boa performance em tarefas muito similares na área de Processamento de Linguagem Natural são revisados e avaliados nesta tarefa. Alguns modelos antigos, porém fundamentais, também são avaliados para fins de comparação. Uma revisão superficial do necessário contexto histórico, linguístico e matemático relevantes para o entendimento destes modelos é fornecido para o leitor que não está familiarizado com este campo de estudo. Palavras-chave: redes neurais; linguagem; processamento de linguagem natural; geração de linguagem natural; geração de texto.

This work aims to develop an automated system capable of mimicking an author's work. Such “digital doubles” already exist for images and videos, where they are called neural style transfer and deep fakes, respectively. Therefore we focus solely on written media, such as novels and books. Current state-of-the-art models that perform well at closely related tasks in the field of Natural Language Processing are reviewed and evaluated at this task. Some older, yet foundational, models are also evaluated for the sake of comparison. A cursory review of the relevant historical, linguistical and mathematical context needed to understand those models is provided for the reader who is unfamiliar with this field of study. Keywords: neural networks; language; natural language processing; natural language generation; text generation.