Introdução à Modelagem de Tópicos em PLN

Modelagem de tópicos é uma técnica em Processamento de Linguagem Natural (PLN) que nos ajuda a descobrir automaticamente temas ou tópicos ocultos dentro de uma grande coleção de documentos de texto. Em vez de ler milhares ou até milhões de documentos manualmente, a modelagem de tópicos permite que os computadores analisem o texto e identifiquem padrões ocultos em como as palavras aparecem juntas. Esses padrões são então agrupados em tópicos, onde cada tópico representa um tema comum discutido em vários documentos.

A ideia principal por trás da modelagem de tópicos é que os documentos geralmente tratam de mais de um assunto, e as palavras tendem a se repetir de maneiras significativas dependendo do tópico discutido. Por exemplo, documentos sobre esportes podem frequentemente incluir palavras como “partida”, “time” e “placar”, enquanto documentos sobre finanças podem incluir palavras como “investimento”, “mercado” e “lucro”. A modelagem de tópicos captura esses padrões de coocorrência de palavras e os utiliza para descobrir tópicos latentes (ocultos).

Modelagem de tópicos é amplamente utilizada em áreas como agrupamento de documentos, recomendação de conteúdo, motores de busca, análise de feedback de clientes, análise de artigos científicos e monitoramento de mídias sociais. É considerada uma técnica de aprendizado não supervisionado porque não requer dados rotulados. O modelo aprende os tópicos diretamente a partir do texto bruto.

Principais Conclusões

Modelagem de tópicos é o estudo de padrões de coocorrência de palavras em documentos para revelar estruturas temáticas subjacentes que não são explicitamente rotuladas ou definidas. Isso a torna especialmente útil para explorar grandes corpora não estruturados, como artigos de notícias, trabalhos de pesquisa, avaliações de clientes ou dados de mídias sociais.
Ao contrário dos modelos de classificação, a modelagem de tópicos não depende de conjuntos de dados pré-anotados ou rotulados. Em vez disso, ela aprende diretamente a partir de textos brutos, tornando-se uma escolha prática quando os dados rotulados são insuficientes, caros de criar ou indisponíveis.
A modelagem de tópicos reflete melhor o texto do mundo real ao permitir que cada documento seja representado como uma mistura de tópicos, em vez de forçá-lo a uma única categoria. Por exemplo, um artigo pode discutir tanto "aprendizado de máquina" quanto "saúde", com diferentes proporções atribuídas a cada tópico.
Cada tópico é definido por um conjunto de palavras relacionadas, onde cada palavra recebe uma probabilidade que indica sua importância dentro daquele tópico. Essa representação probabilística ajuda a interpretar os tópicos e entender quais termos contribuem mais significativamente para um determinado tema.
O LDA modela documentos como misturas de tópicos e tópicos como misturas de palavras usando um framework probabilístico bem definido. Sua interpretabilidade, base matemática e amplo suporte em bibliotecas fizeram dele o padrão de referência para tarefas de modelagem de tópicos na pesquisa e na indústria.

Por Que a Modelagem de Tópicos É Necessária

Aplicações modernas geram grandes quantidades de dados textuais não estruturados, como e-mails, avaliações, artigos, registros de bate-papo e artigos de pesquisa. Organizar e compreender manualmente esses dados é impraticável. A modelagem de tópicos ajuda a estruturar esse texto desorganizado, identificando temas que ocorrem repetidamente em diferentes documentos.

Outra razão importante pela qual a modelagem de tópicos é útil é que a busca tradicional por palavras-chave muitas vezes é limitada. Dois documentos podem tratar da mesma ideia usando palavras diferentes, e métodos baseados em palavras-chave podem não conseguir conectá-los. A modelagem de tópicos vai além da correspondência exata de palavras e foca em padrões semânticos, tornando-a mais eficaz para entender textos em grande escala.

Conceitos Básicos por Trás da Modelagem de Tópicos

Para entender a modelagem de tópicos, é importante compreender como o texto é representado matematicamente. Os dados de texto são primeiro convertidos em forma numérica, geralmente usando uma representação de saco de palavras. Nessa representação, um documento é tratado como uma coleção de palavras em que a ordem das palavras é ignorada, mas a frequência das palavras é preservada.

Cada documento é representado como um vetor de contagem de palavras. Em uma coleção de documentos, isso forma uma matriz termo-documento, onde as linhas representam os documentos e as colunas representam as palavras. Algoritmos de modelagem de tópicos analisam essa matriz para encontrar grupos de palavras que aparecem frequentemente juntas.

Um tópico em modelagem de tópicos não é um único rótulo, mas uma distribuição de probabilidade sobre palavras. Da mesma forma, cada documento é representado como uma distribuição de probabilidade sobre tópicos. Isso significa que um documento pode abordar múltiplos tópicos com proporções diferentes.

Alocação Dirichlet Latente (LDA)

Latent Dirichlet Allocation, comumente conhecido como LDA, é o algoritmo de modelagem de tópicos mais popular. LDA é um modelo generativo probabilístico que assume que os documentos são criados por meio de um processo oculto envolvendo tópicos.

O LDA assume que cada documento possui uma mistura de tópicos e que cada tópico possui uma mistura de palavras. Ao gerar um documento, o modelo primeiro escolhe um tópico com base na distribuição de tópicos do documento e, em seguida, escolhe uma palavra com base na distribuição de palavras do tópico. Esse processo se repete para cada palavra no documento.

A parte “latente” do LDA se refere ao fato de que os tópicos estão ocultos e não são observados diretamente. O modelo tenta inferir esses tópicos ocultos a partir das palavras observadas. A parte “Dirichlet” se refere à distribuição de Dirichlet, que é usada como um prior para controlar como os tópicos são distribuídos entre os documentos e como as palavras são distribuídas entre os tópicos.

Configurando um pequeno corpus

Suponha um vocabulário muito pequeno de quatro palavras:

w₁="ai " w₂="dados " w₃="pizza " w₄="massa "

Agora, suponha que tenhamos três documentos:

Documento 1: “ai data ai” Documento 2: “ai data data” Documento 3: “pizza pasta pizza”

Convertimos este corpus em uma matriz documento–termo X usando contagens brutas de palavras.

Cada linha é um documento, cada coluna é uma palavra e cada entrada indica quantas vezes essa palavra aparece naquele documento.

Escolhendo o número de tópicos

Assuma K=2 tópicos.

O Tópico 1 corresponde aproximadamente a "tecnologia". O Tópico 2 corresponde aproximadamente a "comida".

O LDA não sabe disso com antecedência. Estamos assumindo isso aqui apenas para ilustrar as matrizes aprendidas.

Matriz tópico–palavra Φ (K × V)

Φ contém as probabilidades de palavras para cada tópico. Cada linha soma 1.

Interpretação:

Para o Tópico 1 (tecnologia): P(ai)=0,45, P(data)=0,45, P(pizza)=0,05, P(pasta)=0,05

Para o Tópico 2 (comida): P(ai)=0,05, P(dados)=0,05, P(pizza)=0,45, P(massa)=0,45

Esta matriz responde à pergunta: dado um tópico, quão provável é cada palavra?

Matriz documento-tópico Θ (D × K)

Θ contém as proporções de tópicos para cada documento. Cada linha soma 1.

Interpretação:

O Documento 1 é 90% assunto 1 e 10% assunto 2. O Documento 2 é 85% assunto 1 e 15% assunto 2. O Documento 3 é 10% assunto 1 e 90% assunto 2.

Esta matriz responde à pergunta: dado um documento, quanto cada tópico contribui?

Multiplicação de matrizes: reconstruindo o corpus

O LDA assume que a distribuição esperada de palavras por documento vem de:

Vamos calcular isso explicitamente.

Multiplicação linha por linha

Para o Documento 1:

=[0,9(0,45)+0,1(0,05), 0,9(0,45)+0,1(0,05), 0,9(0,05)+0,1(0,45), 0,9(0,05)+0,1(0,45)] =[0,41, 0,41, 0,09, 0,09]= [0,41, 0,41, 0,09, 0,09]=[0,41, 0,41, 0,09, 0,09]

Isso significa que se espera que o documento 1 favoreça fortemente "IA" e "dados".

Para o Documento 2:

Novamente, um forte sinal de tecnologia com um pequeno componente de alimentos.

Para o Documento 3:

Claramente dominado por palavras relacionadas à comida.

Matriz final reconstruída

Esta matriz é uma aproximação probabilística da matriz de contagem original X. O LDA está efetivamente realizando uma fatoração de matriz restrita, onde todas as entradas são não negativas, e as linhas de Θ e Φ são distribuições de probabilidade.

Durante o treinamento, o LDA não calcula diretamente Θ × Φ de uma vez. Em vez disso, ele atualiza repetidamente as atribuições de tópicos para ocorrências individuais de palavras, de modo que o Θ e o Φ implícitos tornem X provável sob o modelo generativo. A inferência variacional atualiza Θ e Φ diretamente usando otimização.

Ambos os métodos têm como objetivo encontrar Θ e Φ de forma que ΘΦ explique X adequadamente.

Demonstração de Python com matrizes impressas

Aqui está um exemplo em Python que imprime explicitamente Θ e Φ para que você possa inspecioná-los.

import numpy as np

from sklearn.decomposition import LatentDirichletAllocation
from sklearn.feature_extraction.text import CountVectorizer

docs = [
    "ai data ai",
    "ai data data",
    "pizza pasta pizza"
]

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(docs)

lda = LatentDirichletAllocation(
    n_components=2,
    random_state=0,
    max_iter=50
)

lda.fit(X)

# Document-topic matrix Θ
Theta = lda.transform(X)

# Topic-word matrix Φ (normalize rows)
Phi = lda.components_ / lda.components_.sum(axis=1)[:, None]

print("Vocabulary:", vectorizer.get_feature_names_out())
print("\nDocument-Term Matrix X:")
print(X.toarray())

print("\nDocument-Topic Matrix Θ:")
print(Theta)

print("\nTopic-Word Matrix Φ:")
print(Phi)

print("\nReconstructed X (Θ × Φ):")
print(np.dot(Theta, Phi))

Você verá que Θ × Φ combina de perto com a estrutura de X, mesmo que os valores sejam probabilidades em vez de contagens brutas.

Análise Semântica Latente Probabilística (PLSA)

A Análise Semântica Latente Probabilística (PLSA) expande a ideia de estrutura semântica latente ao introduzir um modelo de variável latente probabilística explícito sobre documentos e palavras. Dado um documento ddd e uma palavra w, a PLSA assume que sua coocorrência é gerada por meio de uma variável de tópico latente z. A probabilidade conjunta é definida como:

que também pode ser escrito na forma condicional como:

Aqui, P(w∣z) representa a distribuição de palavras por tópico e P(z∣d) representa quão fortemente um tópico contribui para um documento. Os parâmetros do modelo são aprendidos maximizando a log-verossimilhança das contagens observadas de palavras em documentos n(d,w):

Como a variável de tópico z não é observada, o PLSA utiliza o algoritmo de Expectativa-Maximização (EM). Na etapa E, as atribuições de tópicos posteriores são calculadas da seguinte forma:

Na etapa M, as distribuições de tópico–palavra e documento–tópico são atualizadas usando esses pós-erros, por exemplo:

A PLSA também pode ser vista como uma fatoração matricial probabilística da matriz de distribuição documento–palavra P(d,w) em fatores de posto mais baixo correspondentes a tópicos, semelhante em espírito à LSA, mas baseada na maximização da verossimilhança em vez de SVD.

Modelo de Tópico Simples com BERT

Modelos de tópicos tradicionais como LDA dependem de contagem de palavras e de suposições probabilísticas. A modelagem de tópicos baseada em BERT funciona de maneira muito diferente.

Em vez de modelar documentos como conjuntos de palavras, primeiro usamos um modelo BERT pré-treinado para converter cada documento em um vetor semântico denso (embedding). Documentos com significados semelhantes acabam próximos uns dos outros no espaço vetorial. Uma vez que temos esses embeddings, nós os agrupamos para encontrar grupos de documentos semanticamente semelhantes. Por fim, extraímos palavras representativas para cada grupo para descrever o tópico.

O BERTopic combina quatro ideias:

Embutimentos BERT para capturar a semântica UMAP para reduzir a dimensionalidade HDBSCAN para agrupar documentos TF-IDF baseado em classe (c-TF-IDF) para extrair palavras-chave de tópicos

Instalando bibliotecas necessárias

Certifique-se de que você tenha isso instalado primeiro.

pip install bertopic sentence-transformers scikit-learn datasets umap-learn hdbscan

Conjunto de Dados: 20 Novas Notícias (texto do mundo real)

Usaremos um subconjunto do conjunto de dados 20 Newsgroups, que é comumente usado para modelagem de tópicos e classificação de textos.

from bertopic import BERTopic
from sentence_transformers import SentenceTransformer
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd

Passo 1: Carregar um conjunto de dados real

docs = fetch_20newsgroups(
    subset="train",
    remove=("headers", "footers", "quotes")
).data
docs[0]

Neste ponto, docs é uma lista de documentos de texto bruto. Cada documento pode tratar de tecnologia, esportes, religião, política ou ciência.

Eu estava me perguntando se alguém por aí poderia me esclarecer sobre este carro que vi outro dia. Era um carro esportivo de 2 portas, parecia ser do final dos anos 60/quase 70. Chamava-se Bricklin. As portas eram bem pequenas. Além disso, o para-choque dianteiro era separado do restante da carroceria. Isso é tudo que eu sei. Se alguém puder me informar o nome do modelo, especificações do motor, anos de produção, onde esse carro foi fabricado, história ou qualquer informação que vocês tenham sobre esse carro de aparência estranha, por favor, envie um e-mail.

Passo 2: Carregar um modelo de embeddings BERT

embedding_model = SentenceTransformer("all-MiniLM-L6-v2")

Este modelo converte cada documento em um vetor denso de 384 dimensões. Esses embeddings capturam o significado semântico, não apenas a sobreposição de palavras.

Passo 3: Inicializar o BERTopic

topic_model = BERTopic(
    embedding_model=embedding_model,
    vectorizer_model=CountVectorizer(stop_words="english"),
    language="english",
    calculate_probabilities=True,
    verbose=True
)

Aqui está o que está acontecendo conceitualmente:

O modelo BERT gera embeddings de documentos, UMAP reduz as dimensões dos embeddings, HDBSCAN agrupa os documentos, TF-IDF extrai palavras representativas dos tópicos

Passo 4: Ajustar o modelo de tópicos

topics, probs = topic_model.fit_transform(docs)

Esta única linha faz muito trabalho:

Cada documento é incorporado usando BERT. Os documentos são agrupados com base na similaridade semântica. Cada documento recebe um ID de tópico. As probabilidades dos tópicos são calculadas.

topics contêm um rótulo de tópico por documento.

Etapa 5: Inspecionar tópicos descobertos

topic_info = topic_model.get_topic_info()
print(topic_info.head(10))

Isso mostra:

ID do Tópico Número de documentos no tópico Palavras mais representativas

O tópico -1 representa outliers (documentos que não se encaixam bem em nenhum tópico).

  Topic  Count                           Name  \
0     -1   3604             -1_god_db_like_don   
1      0   1074       0_team_game_season_games   
2      1    514  1_patients_msg_medical_health   
3      2    394      2_space_launch_nasa_orbit   
4      3    359  3_key_clipper_chip_encryption   
5      4    261       4_card_monitor_video_vga   
6      5    239     5_israel_israeli_arab_jews   
7      6    185             6_jpeg_image_cx_c_   
8      7    167     7_fbi_koresh_batf_compound   
9      8    160    8_motherboard_ram_card_sale   

                                      Representation  \
0  [god, db, like, don, edu, know, just, use, doe...   
1  [team, game, season, games, hockey, play, play...   
2  [patients, msg, medical, health, disease, doct...   
3  [space, launch, nasa, orbit, lunar, satellite,...   
4  [key, clipper, chip, encryption, keys, escrow,...   
5  [card, monitor, video, vga, drivers, diamond, ...   
6  [israel, israeli, arab, jews, arabs, palestini...   
7  [jpeg, image, cx, c_, gif, files, format, file...   
8  [fbi, koresh, batf, compound, gas, children, w...   
9  [motherboard, ram, card, sale, price, offer, m...   

                                 Representative_Docs  
0  [This is a periodic posting intended to answer...  
1  [NHL RESULTS FOR GAMES PLAYED 4/14/93.\n\n----...  
2  [\n\nSo just what was it you wanted to say?\n\...  
3  [Archive-name: space/probe\nLast-modified: $Da...  
4  [Here are some corrections and additions to He...  
5  [ and  A VGA monitor..\ne-mail\n, Does anyone ...  
6  [\nThis a "tried and true" method utilized by ...  
7  [Archive-name: graphics/resources-list/part2\n...  
8  [...\n\n\tIt's amazing how everyone automatica...  
9  [NEW POSTING, LOWER PRICES!!  MAKE OFFERS ON A...

Passo 6: Ver palavras que definem um tópico específico

topic_id = 0
print(topic_model.get_topic(topic_id))

Isso retorna uma lista de pares (palavra, pontuação_de_importância). Essas palavras não são apenas palavras frequentes; elas são distintivas para esse tópico em relação a todos os outros.

Passo 7: Atribuir tópicos de volta aos documentos

df = pd.DataFrame({
    "document": docs[:10],
    "topic": topics[:10]
})

print(df)

Agora você pode ver a qual tópico cada documento pertence.

                                           document  topic  
0  I was wondering if anyone out there could enli...     18  
1  A fair number of brave souls who upgraded thei...     13  
2  well folks, my mac plus finally gave up the gh...     \-1  
3  \\nDo you have Weitek's address/phone number?  ...     \-1  
4  From article \<C5owCB.n3p@world.std.com\>, by to...    105  
5  \\n\\n\\n\\n\\nOf course.  The term must be rigidly...     \-1  
6  There were a few people who responded to my re...     \-1  
7                                                ...     33  
8  I have win 3.0 and downloaded several icons an...      6  
9  \\n\\n\\nI've had the board for over a year, and ...     26

Passo 8: Reduzir tópicos (opcional, mas útil)

O BERTopic pode mesclar automaticamente tópicos semelhantes.

topic_model.reduce_topics(docs, nr_topics=10)

Isso ajuda a produzir resultados mais limpos e interpretáveis.

fig = topic_model.visualize_barchart(top_n_topics=8)
fig.show()

fig = topic_model.visualize_documents(docs)
fig.show()

Modelos LDA contabilizam palavras de forma probabilística e assumem que os documentos são misturas de tópicos. A modelagem de tópicos baseada em BERT não assume nenhum processo generativo. Em vez disso, ela depende de embeddings semânticos e de clustering. LDA funciona bem para vocabulários curtos e matemática interpretável. A modelagem de tópicos baseada em BERT se destaca em capturar contexto, sinônimos e similaridade semântica.

Perguntas Frequentes

Qual é a diferença entre modelagem de tópicos e classificação de texto? A modelagem de tópicos é não supervisionada e descobre tópicos automaticamente sem dados rotulados, enquanto a classificação de texto é supervisionada e atribui rótulos predefinidos aos documentos com base em exemplos de treinamento.

Um documento pode pertencer a mais de um tópico? Sim, a maioria dos métodos de modelagem de tópicos assume que os documentos contêm múltiplos tópicos, cada um com uma certa probabilidade ou proporção.

Quantos tópicos devo escolher? Não existe uma regra fixa. O número de tópicos depende do tamanho do conjunto de dados, do domínio e do caso de uso. A experimentação e a avaliação da coerência são comumente usadas para encontrar um número adequado.

Modelagem de tópicos é a mesma coisa que agrupamento? Modelagem de tópicos e agrupamento estão relacionados, mas não são idênticos. O agrupamento atribui cada documento a um único grupo, enquanto a modelagem de tópicos representa os documentos como misturas de múltiplos tópicos.

O modelamento de tópicos entende o significado? O modelamento de tópicos não entende a linguagem de forma humana. Ele identifica padrões estatísticos no uso das palavras, que frequentemente se alinham bem com temas interpretáveis por humanos.

Conclusão

Modelagem de tópicos é um dos algoritmos essenciais que ajuda a dar sentido ao crescente volume de dados de texto não estruturados. Compreender padrões ocultos por meio da coocorrência de palavras nos permite ir além da análise superficial de palavras-chave e obter uma compreensão mais holística de grandes coleções de documentos. Abordagens como Latent Dirichlet Allocation, Fatoração de Matrizes Não Negativas e Análise Semântica Latente Probabilística enfrentam esse desafio a partir de diferentes perspectivas matemáticas e probabilísticas, oferecendo flexibilidade dependendo da natureza dos dados e do problema em questão.

Embora nenhum método funcione para todos, escolher o modelo certo e ajustá-lo de forma cuidadosa pode revelar insights ricos e interpretáveis que seriam difíceis de obter manualmente. Quando usado com conhecimento do domínio e avaliação criteriosa, a modelagem de tópicos não apenas agiliza os fluxos de trabalho de análise de texto, mas também serve como uma base poderosa para tarefas subsequentes, como agrupamento de documentos, recuperação de informações e análise exploratória de dados.

Obrigado por aprender com a comunidade Linux-Console.net.