Descripción:
El procesamiento del lenguaje natural es una herramienta ampliamente utilizada hoy
en día dentro de la web, así como en aplicaciones móviles entablando interacciones naturales entre humanos y computadoras. Apesar de que muchos estudios han sido publicados y el auge de las inteligencias artificiales para el entendimiento del lenguaje ha permitido desarrollar modelos que logren determinar el sentido de la oración, el análisis morfológico, etc. el procesamiento del lenguaje natural tiene mucho trabajo por delante. Un área un poco olvidada dentro del procesamiento del lenguaje natural es el preprocesamiento de los textos, ya que se supone que la entrada del texto a examinar es un texto limpio y solo con ciertos errores ya identificados, aunque esto no es cierto en el mundo real, ya que en el texto informal en el que el ser humano se comunica, tiene presente errores inherentes y diferentes, que, además de ser difíciles de identificar, estos errores evolucionan con el tiempo, por lo que suponer que el preprocesamiento de un texto informal es una tarea ya estudiada es un error. En el presente trabajo se propone una aproximación para inferir los puntos clave de una tarea del preprocesamiento del lenguaje natural que es la identificación de unidades léxicas y sintácticas en el idioma español mexicano, mediante la subtarea de la segmentación de oraciones, siendo el que se determine una propiedad de existencia o que se acople a un modelo de palabra desconocidas basado en n-gramas para la manipulación de estos. La característica primordial de la investigación se centra en el modelo de ordenamiento y selección, sin olvidar que el modelo para puntuar probabilísticamente una palabra desconocida, en si es una innovación en el lenguaje español. El modelo para el ordenamiento y selección consiste en la aplicación de algoritmos de árboles binarios basados en reglas de composición, complementado con algoritmos de optimización de creación y selección de candidatos tal como el algoritmo voraz o la propiedad de Markov.