Comparando Contadores de Histórias Humanos e Máquinas

Contar histórias sempre foi uma parte importante da cultura humana. As histórias refletem nossas crenças, tradições e idiomas. Elas mostram o que as sociedades valorizam e podem dar uma ideia de como as pessoas pensam e sentem em diferentes épocas da história. As histórias geralmente têm personagens que representam várias características. Os protagonistas costumam ter qualidades positivas como bondade e inteligência. Em contraste, os vilões são frequentemente retratados com características negativas como ganância ou crueldade. Entender essas representações de personagens pode ajudar pesquisadores a aprender sobre valores culturais e normas sociais.

#Comparando Contadores de Histórias Humanos e Máquinas

Com a ascensão de grandes modelos de linguagem, como o GPT-3.5, as máquinas agora conseguem criar histórias longas e coerentes. Isso gerou um interesse crescente em comparar histórias escritas por humanos com as geradas por máquinas. É fundamental ver quais diferenças existem entre os dois na narrativa. Isso envolve olhar como os personagens são retratados, como as emoções são expressas e os tipos de temas que emergem de cada um.

No nosso estudo, expandimos um conjunto de dados popular chamado Reddit WritingPrompts. Este conjunto inclui sugestões de escrita fornecidas por usuários no Reddit, junto com histórias escritas em resposta a essas sugestões. Adicionamos histórias geradas pelo GPT-3.5 a esse conjunto existente, permitindo que comparássemos como as histórias diferem com base em características emocionais e descritivas.

#Entendendo a Representação de Personagens

Os personagens são o coração da narrativa. Eles impulsionam a história e se conectam com o público. Nas histórias, os personagens geralmente são definidos por suas características. Os protagonistas costumam ser vistos como desejáveis e admiráveis, enquanto os antagonistas possuem características menos favoráveis. Essas representações de personagens podem fornecer insights sobre crenças e preconceitos sociais.

#Dimensões Emocionais na Narrativa

Quando analisamos histórias, podemos olhar para diferentes aspectos emocionais. Três dimensões principais frequentemente consideradas na narrativa são:

1. Valência: Isso se refere aos sentimentos positivos ou negativos associados aos personagens. Personagens que evocam alegria ou prazer têm alta valência, enquanto aqueles que inspiram tristeza ou medo têm baixa valência.

2. Excitação: Esta dimensão captura quão ativa ou passiva são as emoções. Personagens que criam empolgação ou energia têm alta excitação, enquanto personagens calmos e relaxantes têm baixa excitação.

3. Domínio: Isso se refere ao quão poderoso ou fraco um Personagem parece. Personagens poderosos tendem a ter alto domínio, e personagens fracos têm baixo domínio.

Ao olhar para essas dimensões em histórias humanas e geradas por máquinas, podemos aprender sobre as diferenças na forma como cada tipo de contador de histórias retrata seus personagens.

#Gênero e Ponto de Vista nas Histórias

As histórias também podem ser categorizadas com base no gênero de seus personagens principais e na perspectiva de onde são contadas. A perspectiva pode ser em primeira pessoa, segunda pessoa ou terceira pessoa. Cada perspectiva pode levar a experiências diferentes para o leitor.

Ao analisar histórias com base no gênero, padrões frequentemente emergem. Por exemplo, personagens femininas podem ser descritas de maneiras que focam mais na aparência, enquanto personagens masculinos podem ser vistos como mais poderosos ou inteligentes. Essa tendência pode revelar preconceitos sobre como diferentes Gêneros são retratados na narrativa.

#A Criação do Conjunto de Dados GPT-WritingPrompts

Para entender melhor as diferenças entre histórias humanas e aquelas criadas por máquinas, criamos o conjunto de dados GPT-WritingPrompts. Este novo conjunto inclui tanto histórias escritas por humanos quanto histórias geradas por máquinas, com sugestões retiradas do conjunto original Reddit WritingPrompts.

Cada sugestão levou a histórias que tinham aproximadamente o mesmo comprimento, permitindo uma comparação justa. O conjunto agora contém uma grande variedade de histórias e tópicos, nos dando uma visão ampla da narrativa tanto de humanos quanto de máquinas.

#O Processo de Análise

Para analisar as histórias em nosso conjunto de dados, precisávamos quebrar o processo em etapas menores:

1. Identificação de Personagens: Olhamos para os personagens significativos em cada história, designando o que foi mencionado mais como protagonista.

2. Ponto de Vista: Categorizamos as histórias com base em sua perspectiva – primeira, segunda ou terceira pessoa. Também tentamos identificar o gênero do personagem principal.

3. Extraindo Atributos: Usando análise linguística e ferramentas de raciocínio comum, reunimos características que descreviam os protagonistas em nosso conjunto de dados. Essa etapa nos ajudou a entender como os personagens eram retratados em termos de suas emoções e características.

4. Quantificando Diferenças: Uma vez que extraímos os atributos necessários, comparamos as dimensões emocionais dos personagens em histórias humanas e geradas por máquinas. Isso envolveu olhar para pontuações relacionadas à valência, excitação, domínio, aparência e intelecto.

#Descobertas sobre Histórias Geradas por Máquinas

Ao analisar os resultados, encontramos diferenças notáveis entre histórias humanas e histórias geradas por máquinas. Aqui estão algumas observações principais:

• Geralmente, as histórias geradas por máquinas tendem a ter sentimentos mais positivos (maior valência) em comparação com as escritas por humanos.

• O nível de empolgação ou atividade (excitação) nas histórias geradas por máquinas é menor, o que significa que podem ser menos intensas ou envolventes.

• Os personagens em histórias geradas por máquinas costumam parecer mais no controle (maior domínio), retratando uma sensação de poder.

• O uso de palavras relacionadas à aparência e intelecto dos personagens é menos prevalente em histórias criadas por máquinas em comparação com aquelas escritas por humanos.

Essas descobertas indicam que, embora as máquinas possam gerar narrativas coerentes, seu estilo e as representações de personagens diferem das de contadores de histórias humanos.

#Investigando a Variabilidade

Um aspecto significativo que notamos é a variabilidade na narrativa. As histórias escritas por humanos mostraram maior diversidade em como os personagens eram retratados. Em contraste, as histórias geradas por máquinas foram mais consistentes, mas isso levou a menos variação na expressão emocional e na representação de personagens.

Quando categorizadas pelo gênero dos protagonistas, padrões semelhantes emergiram tanto em histórias humanas quanto em histórias geradas por máquinas. Personagens femininas eram frequentemente associadas a características mais positivas e apareciam menos dominantes do que personagens masculinos. No entanto, essa tendência foi consistente em ambos os tipos de histórias.

#Narrativa em Diferentes Contextos

Um aspecto da narrativa é como o contexto de uma sugestão afeta a história. Ao analisar as sugestões, queríamos entender como tanto contadores de histórias humanos quanto máquinas respondem a cenários semelhantes.

Olhamos como as histórias diferem com base nas sugestões fornecidas, visando medir mudanças na representação em diferentes contextos. Essa análise revelou como cada contador de histórias se adapta com base na situação apresentada, esclarecendo ainda mais as nuances da narrativa.

#A Importância de Entender os Preconceitos

Entender os preconceitos na narrativa é crucial. Nossa análise revelou que tanto humanos quanto máquinas exibem preconceitos semelhantes quando se trata de representações de gênero. As tendências consistentes na representação de personagens podem refletir valores e estereótipos sociais, mostrando como ambos os métodos de narrativa podem revelar preconceitos subjacentes.

#O Valor do Conjunto de Dados

O conjunto de dados GPT-WritingPrompts que criamos é inestimável para a pesquisa. Ele oferece uma riqueza de informações sobre as diferenças na narrativa entre autores humanos e narrativas geradas por máquinas. Pesquisadores podem usar esse conjunto de dados para explorar outros aspectos da geração de linguagem, preconceitos e técnicas de narrativa, levando a mais insights sobre como as histórias são contadas.

#Limitações e Direções Futuras

Embora nosso estudo forneça insights importantes, ele também tem limitações. O conjunto de dados captura uma instantânea da narrativa, mas ainda há uma lacuna significativa em entender como diferentes modelos, como o GPT-4 ou outros modelos de código aberto, podem se comparar aos resultados que coletamos.

Além disso, nossos métodos de análise de preconceitos de gênero foram limitados. As técnicas de resolução que usamos para identificar personagens não eram perfeitas, e entender a identidade de gênero nas narrativas pode ser complexo. Pesquisas futuras poderiam expandir a análise para incluir representações de gênero mais diversas e explorar como diferentes culturas influenciam a narrativa.

#Conclusão

Contar histórias é uma ferramenta poderosa para comunicação e expressão. Através de nossa análise de narrativas humanas e geradas por máquinas, descobrimos diferenças significativas na forma como cada tipo retrata personagens e dimensões emocionais. As descobertas do nosso estudo contribuem para um corpo crescente de conhecimento no campo do processamento de linguagem natural e da narrativa, ajudando a informar pesquisas futuras sobre as interações entre humanos e máquinas na escrita criativa. Os insights obtidos podem ajudar a entender as complexidades da narrativa e os preconceitos subjacentes presentes nas histórias, abrindo caminho para representações mais inclusivas e diversas em futuras iniciativas de narrativa.