Un nuevo enfoque para predecir la aprobación de patentes

Entender si una reivindicación de patente será aprobada o rechazada es una tarea compleja. Las solicitudes de patente tienen directrices específicas y deben cumplir con estándares legales para proteger la propiedad intelectual. Últimamente, los modelos de lenguaje grande (LLMs) han llamado la atención por su potencial para manejar tareas que involucran lenguaje natural. Sin embargo, simplemente hacer que estos modelos sean más grandes no siempre lleva a mejores resultados, especialmente en tareas específicas como la predicción de aprobación de patentes. Este documento discute un método alternativo que se basa en entender la estructura y las dependencias dentro de las reivindicaciones de patentes.

#Tarea de Predicción de Aprobación de Patentes

El objetivo de la predicción de aprobación de patentes es determinar si cada reivindicación en una solicitud de patente presentada será aceptada o no. Esto es particularmente importante porque la ley de patentes requiere que cada reivindicación sea evaluada por su propio mérito. Si una reivindicación es rechazada, puede afectar el estatus de otras reivindicaciones relacionadas. Esta situación necesita una forma objetiva de analizar las reivindicaciones, ya que los examinadores humanos pueden tener diferentes interpretaciones.

#El Papel de los Modelos de Lenguaje

Los modelos de lenguaje, especialmente los LLMs, han mostrado promesa en varias tareas de lenguaje natural. Funcionan bien en muchas aplicaciones debido a su capacidad para entender texto y generar respuestas. Sin embargo, para tareas que requieren conocimiento especializado, como la predicción de aprobación de patentes, estos modelos pueden no desempeñarse como se espera. Aumentar el tamaño de los modelos a menudo lleva a mayores costos computacionales sin necesariamente mejorar la precisión.

#Enfoques Basados en Grafos

Para abordar las limitaciones de los LLMs, recurrimos a un enfoque diferente basado en grafos. Al examinar cómo se relacionan las reivindicaciones entre sí, podemos crear grafos que representen estas dependencias. Cada reivindicación puede verse como un nodo en el grafo, y las relaciones entre las reivindicaciones forman las aristas. Este método nos permite visualizar y utilizar las conexiones entre las reivindicaciones de manera más efectiva.

#El Grafo de Dependencia Fina de Reivindicaciones (FLAN)

Proponemos el Grafo de Dependencia Fina de Reivindicaciones (FLAN) como un medio para representar las reivindicaciones de patentes y sus interdependencias. Este grafo captura relaciones detalladas entre diferentes segmentos de los textos de las reivindicaciones. Cada nodo simboliza un segmento importante de la reivindicación, y las aristas representan cómo estos segmentos interactúan entre sí. Al enfocarnos en estas relaciones, podemos mejorar significativamente la precisión de las predicciones.

#Construcción del Grafo

Para crear el Grafo FLAN, empezamos descomponiendo cada reivindicación en sus componentes. Las reivindicaciones a menudo consisten en subcomponentes que están intrincadamente interconectados. El Grafo FLAN captura tanto las dependencias internas (cómo se relacionan las partes dentro de una reivindicación) como las interdependencias entre diferentes reivindicaciones. El objetivo es crear una representación completa que encapsule todos los detalles necesarios para la toma de decisiones.

#Creación de Nodos y Aristas

Los nodos se forman segmentando el texto de la reivindicación de acuerdo con los cortes naturales en el lenguaje. Cada segmento se identifica como un (sub-)componente específico. Para las reivindicaciones que hacen referencia a otras reivindicaciones, creamos aristas que vinculan estas reivindicaciones. Este proceso garantiza que toda la información relevante sea considerada durante la predicción.

#Experimentación y Resultados

Realizamos una serie de experimentos para medir la efectividad del Grafo FLAN en comparación con los enfoques tradicionales de LLM. Los resultados destacaron una diferencia de rendimiento significativa a favor del Grafo FLAN. Utilizando una gama de redes neuronales gráficas (GNNs), el Grafo FLAN demostró consistentemente una mejor precisión en las predicciones.

#Recolección de Datos y Conjunto de Datos

Para nuestros experimentos, recolectamos solicitudes de patente del mundo real de una base de datos pública. Estas solicitudes fueron clasificadas por sus fechas de presentación para crear conjuntos de entrenamiento, validación y prueba. Nuestro conjunto de datos presenta una variedad de reivindicaciones, lo que nos permite evaluar la efectividad de nuestro enfoque en diversas condiciones.

#Métricas de Evaluación

Para evaluar el rendimiento, se utilizaron como métricas de evaluación el Área Bajo la Curva (AUC) y el puntaje Macro-F1. Estas métricas brindan información sobre cuán bien nuestros modelos pueden predecir la aprobación de reivindicaciones. AUC mide la capacidad de distinguir entre reivindicaciones aprobadas y rechazadas, mientras que Macro-F1 evalúa la precisión general.

#Hallazgos y Observaciones

A través de nuestros experimentos, encontramos que:

1. Aumentar el Tamaño de los Modelos No Siempre es Efectivo: Simplemente usar modelos más grandes no garantizó mejores resultados para la predicción de aprobación de patentes. De hecho, muchos de los modelos escalados se desempeñaron de manera similar a los métodos tradicionales o peor.

2. El Grafo FLAN Superó a los LLMs: Al usar el Grafo FLAN con varias GNNs, logramos un rendimiento significativamente mejor. El enfoque basado en grafos modeló efectivamente las relaciones entre las reivindicaciones, lo que llevó a predicciones más precisas.

3. La Ingeniería de Características es Crucial: Incorporar características adicionales relacionadas con las reivindicaciones fue esencial para maximizar el rendimiento. La combinación del Grafo FLAN con estas características produjo los mejores resultados.

#Conclusión

En resumen, nuestra investigación destaca las limitaciones de escalar modelos de lenguaje grandes para tareas especializadas como la predicción de aprobación de patentes. En cambio, demostramos las ventajas de utilizar un grafo bien estructurado que captura las dependencias entre las reivindicaciones. El Grafo de Dependencia Fina de Reivindicaciones (FLAN) ofrece una alternativa prometedora que mejora efectivamente la precisión de las predicciones.

Al enfocarnos en las relaciones y estructuras inherentes en las reivindicaciones de patentes, podemos mejorar la capacidad de predecir resultados en un área crítica de la propiedad intelectual. El trabajo futuro se basará en estos hallazgos para investigar más a fondo las fortalezas de los métodos basados en grafos y potencialmente integrarlos con los LLMs.

#Trabajo Futuro

Aunque nuestro estudio ha producido resultados prometedores, hay varias áreas para futuras investigaciones:

1. Ampliar el Conjunto de Datos: Probar con una gama más amplia de solicitudes de patentes podría proporcionar una comprensión más completa de la efectividad del Grafo FLAN en varios contextos.

2. Contextos Más Largos para los LLMs: Investigar si alimentar aplicaciones completas de patentes en los LLMs puede generar mejores resultados en comparación con el enfoque actual a nivel de reivindicación.

3. Integración de Modelos de Grafos Preentrenados: Explorar el uso de modelos preentrenados dentro del marco de grafos para ver si pueden mejorar aún más el rendimiento.

4. Datos de Patentes Internacionales: Aplicar nuestros métodos a datos de patentes de otros países para evaluar la adaptabilidad del Grafo FLAN más allá de las solicitudes de EE.UU.

#Consideraciones Éticas

Nuestra investigación cumple con estándares éticos al utilizar datos de patentes disponibles públicamente. Las fuentes utilizadas son legalmente permisibles, asegurando el cumplimiento de las leyes de propiedad intelectual. Creemos que nuestro trabajo contribuye positivamente al campo al mejorar la comprensión y los sistemas para la predicción de aprobación de patentes.

#Análisis Adicional

#Impacto de Escalar Modelos

Nuestro análisis sobre escalar grandes modelos reveló que, si bien los modelos más grandes pueden manejar grandes cantidades de datos, no necesariamente mejoran la precisión de las predicciones sobre reivindicaciones de patentes. Examinar varios tamaños llevó a la conclusión de que modelos más pequeños podrían superar a sus contrapartes más grandes cuando están afinados correctamente.

#Ingeniería de Prompts

Se exploró la ingeniería de prompts para los LLMs, revelando que la elección cuidadosa de palabras y estructuras puede influir en las predicciones realizadas por estos modelos. Sin embargo, los resultados mostraron inconsistencias en el rendimiento, con ciertos prompts que llevaban a un aumento de falsos negativos.

#Aprendizaje de Pocos Ejemplos

Los experimentos con estrategias de aprendizaje de pocos ejemplos indicaron beneficios potenciales, pero las ventajas no fueron uniformes en todas las situaciones. La complejidad de la tarea significó que más ejemplos no siempre producían mejores resultados.

#Rendimiento del Modelo de Grafo

La prueba de varios modelos de grafo confirmó que utilizar el Grafo FLAN creado a través de nuestro enfoque de dependencia superó consistentemente a modelos más simples, reforzando el valor de entender las interdependencias de las reivindicaciones.

#Análisis Estadístico

Por último, un análisis estadístico detallado de los resultados mostró cambios significativos de rendimiento al pasar de métodos tradicionales al Grafo FLAN, haciendo un caso claro para su viabilidad en futuras aplicaciones en tareas de aprobación de patentes.

Al combinar los conocimientos obtenidos de estos varios análisis, abogamos por un cambio hacia métodos más basados en grafos en tareas especializadas de procesamiento del lenguaje, particularmente en el ámbito de patentes y propiedad intelectual.