Следующий шаг — разбить большие фрагменты текста на отдельные слова или наборы слов, процесс, известный как токенизация. Библиотека NLTK может эффективно справиться с этим.
что токенизация захватывает только значимые слова и исключает общеупотребительные слова или знаки препинания, в подсказке будут содержаться инструкции по использованию инструментов NLTK, таких как RegexpTokenizer и стоп-слова.
Для улучшения процесса фильтрации наша Канада телеграммы данные подсказка инструктирует ChatGPT создать список из 50 дополнительных стоп-слов, отфильтровывая разговорные фразы или общие выражения, которые могут быть распространены в обсуждениях subreddit, но не включены в стоп-слова NLTK. Кроме того, если вы хотите исключить определенные слова, вы можете вручную создать список и включить его в свою подсказку.
После очистки данных используйте класс Counter из модуля collections , чтобы определить наиболее часто встречающиеся слова или фразы. Сохраните результаты в новом файле Excel с именем "combined-queries.xlsx". Этот файл будет содержать три отдельных листа: "One Word Queries", "Two Word Queries" и "Three Word Queries", каждый из которых будет представлять запросы вместе с их частотой упоминания.
Структурирование запроса обеспечивает эффективное извлечение, обработку и анализ данных, используя наиболее подходящие библиотеки Python для каждого этапа.
Протестированный пример запроса на извлечение данных с предложениями по улучшению
Ниже приведен пример подсказки, которая охватывает вышеупомянутые пункты. Чтобы использовать эту подсказку, просто скопируйте и вставьте ее в ChatGPT. Важно отметить, что вам не нужно строго придерживаться этой подсказки; не стесняйтесь изменять ее в соответствии с вашими конкретными потребностями.