Minería de Textos

Explicación

Introducción

• Junto con las imágenes y los audios, los textos son una fuente de datos no estructurados que se multiplicó en los últimos años.

• Para poder hacer uso de la información que contienen es necesario procesar los documentos originales a un formato lo suficientemente estandarizado como para que pueda alimentar algún tipo de modelo

• Hoy veremos un repaso de algunas de las técnicas más usuales para normalizar la información de documentos.

Análisis de texto en Ciencias Sociales

• La producción textual en Redes Sociales, medios de comunicación, Revistas, la producción literaria, los subtítulos de películas, etc. son expresiones de época.

• El análisis de estos corpus permite extraer las expresiones culturales y opiniones de un determinado grupo, en algún tiempo y lugar.

• Las técnicas que utilizamos actualmente nos son mejores que un ser humano en reconocer estos patrones, pero al hacerlo de forma automática pueden permitir análisis “simples” pero a gran escala.

Algunos ejemplos

https://www.pnas.org/content/pnas/115/16/E3635.full.pdf

https://dl.acm.org/citation.cfm?id=2390490

https://link.springer.com/article/10.1007/s11199-019-01019-x

Bag of Words

• Los documentos se pueden caracterizar por las palabras que contienen. Esto esconde el supuesto fuerte de independencia. No estamos considerando el orden

• Para este tipo de técnicas, una buena representación de la información es una bolsa de palabras. Un formato que indica la cantidad de veces que aparece una palabra en un documento.

• También se conocen como Matrices Documento-Término o Término-Documento, según la orientación

Ejemplo: opiniones de trip advisor:

library(tidyverse)
library(tm)
doc1='Lugar espectacular e inolvidable'
doc2='Precioso lugar, la comida era espectacular, de 10, precioso!'

texto <- c(doc1,doc2)

myCorpus = VCorpus(VectorSource(texto))
myDTM = DocumentTermMatrix(myCorpus, control = list(minWordLength = 1))
m = as.matrix(myDTM)
m

    Terms
Docs 10, comida era espectacular espectacular, inolvidable lugar lugar, precioso precioso!
   1   0      0   0            1             0           1     1      0        0         0
   2   1      1   1            0             1           0     0      1        1         1

• Nosotros sabemos que el significado de “lugar” y “lugar,” es el mismo

• Al no estar normalizada la información, la BoW genera matrices muy grandes y esparsas, que son poco útiles para trabajar

Normalización

Para construir el Bag of Words se debe considerar los siguientes procesos:

• Tokenization: Es el proceso de partir un string de texto en palabras y signos de puntuación.

• Eliminar puntuación.

• Stop Words: remover las palabras más comunes del idioma (“el”, “la”, “los”, “de”) ya que aparecen en todos los documentos y no aportan información valiosa para distinguirlos.

• Lemmatization: Es la representación de todas las formas flexionadas (plural, femenino, conjugado, etc.). Para esto, es necesario contar con una base de datos léxica. Para esto podemos usar koRpus que incluye el lexicón TreeTagger.

• Stemming: Es similar a la lematización, pero no se basa en las estructuras lexicales, sino que realiza una aproximación, quedándose con las primeras letras de la palabra.

• N-gramas: A veces los conceptos que permiten distinguir entre documentos se componen de más de una palabra, por ejemplo:
  • “a duras penas” (trigrama),
  • “Buenos Aires” (bigrama)
  • Las expresiones idiomáticas o los nombres propios cambian radicalmente de sentido si se separan sus componentes.
  • Imaginense si quisiéramos clasificar la posición política de izquierda a derecha de los “Nacional Socialistas”!

Ejemplo: Limpiando el texto:

doc1='Lugar espectacular e inolvidable'
doc2='Precioso lugar, la comida era espectacular, de 10, precioso!'

texto <- c(doc1,doc2)

myCorpus = VCorpus(VectorSource(texto))
myCorpus = tm_map(myCorpus, content_transformer(tolower))
myCorpus = tm_map(myCorpus, removePunctuation)
myCorpus = tm_map(myCorpus, removeNumbers)
myCorpus = tm_map(myCorpus, removeWords, stopwords(kind = "es"))
myDTM = DocumentTermMatrix(myCorpus, control = list(minWordLength = 1))
m = as.matrix(myDTM)
m

    Terms
Docs comida espectacular inolvidable lugar precioso
   1      0            1           1     1        0
   2      1            1           0     1        2

Expresiones regulares.

Un elemento fundamental para la manipulación del texto son las expresiones regulares. Éstas sirven para captar patrones que aparecen en el texto y luego operar sobre ellos (extraerlos, reemplazarlos, detectarlos, etc.)

por ejemplo

un_texto <- 'una concatenación de caracteres'

str_detect(un_texto, 'una')

[1] TRUE

Para generar una expresión regular, utilizamos distintos elementos:

Caracteres especiales.

Son formas de referirnos a tipos de caracteres

por ejemplo

str_detect(un_texto, '[[:punct:]]')

[1] FALSE

str_detect(un_texto, '[[:alnum:]]')

[1] TRUE

Los cuantificadores nos permiten decír “Este caracter, X veces”

por ejemplo

nchar(un_texto)

[1] 31

str_detect(un_texto, '(\\w|\\W){29,33}')

[1] TRUE

str_detect(un_texto, '(\\w|\\W){32,35}')

[1] FALSE

Esto se lee como “caracteres de palabras (a,b,c…z ; A,B,C… Z ; 0,1,2..9) ó otros caracteres distintos, entre 29 y 33 veces”.

A veces para extraer pedazos de texto nos conviene chequear que hay antes y después. Eso lo hacemos con los lookarounds

Por ejemplo, si queremos recuperar el DNI de la persona entre muchas otras palabras:

texto_con_dni <- 'Lorem ipsum dolor sit amet, DNI 38765239,faucibus et dui tellus, eros mi elit...'

str_extract(texto_con_dni, pattern = '(?<=DNI )\\d{3,}')

[1] "38765239"

el patrón se lee “Luego de DNI tres o más dígitos”

Distancia de palabras

La distancia de palabras se puede entender desde distintos lugares:

• Distancia de caracteres: Refiere a la similitud de escritura “Mueve” vs “Nueve”
• Distancia conceptual: Refiere a la similitud del concepto: “Perro” vs “Labrador”

Distancia de caracteres

• Distancia de Levenshtein o distancia de edición es el número mínimo de operaciones requeridas para transformar una cadena de caracteres en otra. Una operación puede ser una inserción, eliminación o sustitución de un carácter.

• Jaro Winkler: Esta medida de similitud da mejores puntajes a los strings que son similares en el principio de la oración. \(0 < sim_{jw}<1\), donde 1 significa que las palabras son idénticas (excepto que p=0.25 y compartan los primeros 4 caracteres). y 0 significa que no se parecen en nada

Distancia Conceptual

• Word Embeddings: Son una representación vectorial de las palabras que se construye a partir de observar una gran cantidad de documentos.

• Word2Vec fue la primera implementación de esta idea. Se entrena una red neuronal para predecir el contexto de una palabra, y luego se utiliza una matriz que se construye dentro de la red como representación de las palabras.

ejemplo: Proyección en tres dimensiones

Distancia de Documentos

Similitud Coseno

• En el modelo de BoW representamos a todos los documentos como vectores n-dimensionales que toman valores en el espacio de los números enteros.

• La dimensión n del espacio está determinada por lo largo del vocabulario utilizado en el corpus.

• Para comparar la similitud entre dos documentos, podemos utilizar la similitud coseno entre sus representaciones vectoriales. Intuitivamente, la similitud coseno es una medida de correlación de vectores que representan atributos en lugar de variables que se mueven en un espacio continuo.

recordemos primero algunas definiciones.

El producto interno entre dos vectores x,y se define como:

\[ \langle x,y \rangle=\sum_i x_i y_i = \|x\|\ \|y\|\cos(\theta) \]

Por su parte, la norma 2 de un vector x se define como:

\[ ||x||=\sqrt{\sum_i x^2_i} \]

\[ CosSim(x,y) = \frac{\langle x,y \rangle}{\|x\|\ \|y\|} = \frac{\sum_i x_iy_i}{\sum_i x^2_i\sum_i y^2_i} \]

• Cuantas más palabras compartan los documentos, mayor es el producto punto. Este a su vez se normaliza por el tamaño de cada documento.

• Este valor va de 1 para los documentos son identicos a 0 cuando son totalmente distintos.

Topic Modelling

• Las técincas de Modelado de Tópicos tratan de captar los temas de los que habla un corpus de texto.

• Una de las técnicas más difundidas en la actualidad es Latent Dirichlet Allocation Models

• Éste es un modelo inferencial bayesiano. No vamos a poder estudiar el detalle del modelo en este curso, pero a grandes rasgos propone un proceso generativo donde cada palabra es el resultado de un encadenamiento de distribuciones, y luego se realiza inferencia hacia atrás para calcular la distribución más probable dada las palabras y los documentos

El resultado del modelo es:

• Una distribución de palabras por tópico: Podemos caracterizar cada tópico por sus palabras más importantes.
• Una distribución de los tópicos por documento: Podemos caracterizar un documento por sus temas más importantes