Как популярные нейросети справляются с различными заданиями по социально-гуманитарным дисциплинам (по материалам эмпирического исследования)

Введение. Одним из новых вызовов для всей системы образования становится использование учащимися нейросетей для выполнения письменных заданий. Педагогическая проблема заключается прежде всего в том, что в этих случаях не формируются предписанные стандартами компетенции. Кроме того, данные инструменты могут генерировать ложные ответы с нарушениями этических норм или требований логичности, объективности, непредвзятости. Так, целью работы стало изучение возможностей популярных нейросетей в решении различных типов заданий по социально-гуманитарным дисциплинам, а также составление рекомендаций для преподавателей по трансформации педагогического процесса с учетом новых реалий.
Методология. Было выделено десять типов заданий, характерных для дисциплин социально-гуманитарного цикла, которые загружались в две наиболее популярные модели: DeepSeek и «Алису» (Yandex). Ответы нейросетей на 500 запросов оценивались качественно (по глубине, содержательности, логичности и т. д.) и количественно (в баллах и процентах), сопоставлялись между собой и с оценками учащихся по аналогичным заданиям.
Обсуждение. Анализ эмпирических данных показал, что нейросети в среднем хорошо справляются с такими заданиями: дать определение, перечислить особенности или позиции, аргументировать точку зрения по проблеме. С поисковыми задачами (указать персоналии, определить принадлежность цитаты и т. п.) и заданиями на комментирование (интерпретацию цитаты с учетом ее контекста в первоисточнике) возникли некоторые сложности ввиду особенностей машинного обучения и распаковки данных, а также переводов и доступности русскоязычных источников для китайской нейросети. Сложные задания (эссе, реферат) без умелого промпт-инжиниринга нейросети пишут поверхностно, с низкой эвристичностью, не ссылаясь на литературу и т.д.
Заключение. По итогам сформулированы рекомендации по составлению заданий с учетом сильных и слабых сторон популярных нейросетей, чтобы легче отслеживать несамостоятельно сделанное. Также даны конкретные советы по разнообразию видов работы и определению сгенерированности.

Introduction. The use of neural networks by students to do written works seems to be one of the new challenges for the entire educational system. The pedagogical problem is, first of all, that in these cases the competencies prescribed by the standards are not formed. These tools may generate false answers that, in addition, may violate ethical norms or requirements of logic, objectivity, and impartiality. Thus, the purpose of the work was to study the capabilities of popular neural networks in solving various types of tasks in social and humanitarian disciplines, as well as to draw up recommendations for teachers on the transformation of the pedagogical process, taking into account the new realities.
Methodology. We distinguished 10 types of tasks typical for disciplines of the social and humanitarian cycle, and loaded them into the two most popular models, DeepSeek and Alice (Yandex). The responses of neural networks to 500 queries were evaluated qualitatively (by depth, content, logic, etc.) and were rated quantitatively (in points and percent). Then we compared these responses with each other and with students’ grades on similar tasks.
Discussion. Analysis of empirical data showed that neural networks, on average, cope well with such tasks as giving a definition, listing features or positions, arguing a point of view on a problem. Some difficulties arose with search tasks (indicating personalities, determining the affiliation of a quote, etc.) and commenting tasks (interpreting a quote taking into account its context in the original source). It may be due to the peculiarities of machine learning and data unpacking, as well as translations and the availability of Russian-language sources for a Chinese neural network. The examined neural networks write complex tasks (essays, projects) rather superficially, with low heuristics, without referring to literature, etc., if skillful prompt engineering was not used.
Conclusion. Based on the results, recommendations were formulated for compiling tasks taking into account the strengths and weaknesses of popular neural networks. Concrete advices were also given on the diversity of types of work and the definition of text generating

образование, нейросеть, нейронная сеть, большая языковая модель, LLM, DeepSeek, Яндекс Алиса, социально-гуманитарные дисциплины, педагогические проблемы, генерация текста, искусственный интеллект
education, neural network, nn, large language model, llm, DeepSeek, Yandex Alice, social and humanitarian disciplines, pedagogical problems, text generating, artificial intelligence

Полный текст>>