Форум DL

Мой профиль

Многие поколения студентов жалуются, что сложные и простые задачи оцениваются одинаково - сдана одна задача. Наконец мы технически подошли к тому, что готовы учитывать рейтинги сложности задач.
Хотелось бы чтобы эти рейтинги вычислялись системой автоматически на основе информации о том как сдавались эти задачи.

Какую информацию мы можем достать из протоколов тестирования:
С - сколько человек сдало это задачу
П - сколько человек пыталось сдать задачу
А - сколько попыток сдавать было предпринято
Т - сколько времени стоит на тестировании задача (месяц, два, ...)

Пусть изначально задача имеет оценку 1.
Раз в семестр (учебный год?) мы будем пересматривать ее рейтинг (сложность) в сторону увеличения (уменьшения?).
Качественно это выглядит так:
- чем больше человек не смогло сдать - тем сложнее задача
- чем дольше стоит на тестировании и слабо сдается - тем сложнее задача
Желательно не давать возможности "злопыхателям" "накручивать" рейтинги задач.

А как это должно выглядеть количественно?

Для затравки предлагаю такую формулу
Сложность = П/С (пыталось/сдало)
То есть если пыталось 2 человека и сдал 1 - сложность 2
Пыталось 10, сдало 2 - сложность 5.

В этой формуле не учитываются
А - сколько всего попыток было предпринято
T - сколько времени в месяцах задача стоит на тестировании.

Кроме того не учитывается тот факт, что если задача сложная так ее и пытается решить мало человек.

Мой профиль

На Сфере
80/(40+С)
С - количество человек, которые Сдали задачу.
В это случае рейтинг задачи изменяется от
максимального 1.95 до минимального 0.00...

Мой профиль

Математическая задача
- сделать формулу по аналогии со "Сферовской", только минимум 1, максимум - 10.
Например: 400/(39+С)
При С=1 получаем рейтинг 10.
При С=371 получаем рейтинг 1.
Это плохо, думаю можно при 20 (10?) решивших превращать рейтинг задачи в 1.

Тогда 10/С
Точнее

Если 
 С=0           то 10
 C>=1 и C<=10, то 10/С
 C>10          то 1

Но здесь не учитывается количество пытавшихся решить.

Мой профиль

Отличное предложение (на мой взгляд) поступило от Вовы Баразновского (ПО-31):
! Задачи оценивать как (кол-во в группе/на число решивших)

Количество в группе берем за 30.
Итого = 30/кол-во решивших.
При этом если число решивших >30, то сложность задачи все равно остается 1. Если задача еще не решена никем, то сложность 30.

Это для тех задач, которые стоят давно.
А что делать с ВНОВЬ устанавливаемыми задачами?
Предлагаю ставить рейтинг 5.
Чтобы стимулировать решение вновь установленных задач, с одной стороны. И я буду контролировать (и уже контролирую), чтобы задачи ставились посложнее.
А в следующем семестре рейтинг будет уточнен по вышеприведенной формуле.

Еще лучше прямо в формулу добавить длительность решения задачи.
То есть чем дольше задача стоит - тем ближе рейтинг к "предельной" формуле (30/количество решивших). Чем меньше стоит - тем ближе к 5.

Например так
С - количество семестров, которые стоит задача (все равно пересчет будем делать раз в семестр)
Р - количество решивших

рейтинг(сложность) задачи = 30/(Р*(6-С)).
Если С>=6 (задача стоит 6 или более семестров), то рейтинг=30/Р
Если С=0, то рейтинг равен 5 (решивших для вновь установленной задачи нет или 1 - автор).

Наверно, нужно также давать возможность автору задачи устанавливать рейтинг своей задачи, а автору курса - исправлять его в случае необходимости.

Мой профиль

У установки рейтингов задачам есть и отрицательная сторона.
У студентов появляется смысл сдавать ЧУЖИЕ решения сложных задач.
Сдал одну сложную вместо 30 простых (10 простых?).
А с этим как бороться?

Мой профиль

С другой стороны, нынешняя система, хотя вроде бы одинаково оценивает все задачи, все же справедливо оценивает сложность задач в следующем смысле:

Для того, чтобы получить один балл в индивидуальных задачах человек может выбирать самые простые темы, для того чтобы получить ВТОРОЙ балл - сложнее и т.д., чем более высокий балл к экзамену за индивидуальные задания человек хочет заработать, тем более сложные задачи ему придется решать.

Мой профиль

Есть ещё одна проблема, о которой почему-то не сказано ни слова. К примеру, есть задача. Несложная, но в ней есть небольшая ошибка. Как делалось, например, в этом, да и предыдущем семестре? Более-менее опытный студент понимает, что слишком много времени понадобится, чтобы описывать ошибку в программе на форуме, потом перерешивать уже исправленную задачу... Открою секрет, как находится выход из такой ситуации. Если ошибка несущественная, к примеру, автор задачи написал в условии неправильные имена входных переменных, или не учёл overflow какой-то переменной, то ошибка эта вычисляется, немного модифицируется программа, отправляется и сдаётся. Как оценивать такую задачу? С одной стороны, она сложная - ведь много отсылок, задача сдана далеко не сразу. С другой стороны, задача лёгкая, и вся проблема - в наличии ошибки, которую студент поленился задокументировать. Сам с таким встречался, и описанную методику применял, потому что тогда был на диалапе, и не очень-то хотелось отписывать на форум об ошибке. Да и лень.

Мой профиль

1) На рейтинг задачи при использовании формулы, предложенной Вовой Баразновским, это никак не влияет - сдана задача и все. И не важно, с первой отсылки она была сдана или нет. Важно сколько людей ее сдали с того момента, как она была установлена. Чем больше сдало людей, тем меньше рейтинг. Меньше 1 рейтинга не будет.
2) ВСЕ ПРОБЛЕМЫ с задачами от АНАЛОГИЧНОГО беззаботного подхода студентов, которые устанавливали задачи.

Ну что же - это и есть УЧЕБА. Я хочу, чтобы студенты ПОНИМАЛИ. Они - это СООБЩЕСТВО (community как сейчас модно говорить на Западе) людей, объединенных, вольно или не вольно, общими интересами. Недоработка ОДНОГО портит жизнь многим другим. Автор поставил плохо. Другой заметил ошибку, но в форуме написать поленился. А кто страдает? Такие же студенты - другие члены этого сообщества.

Мой профиль

Так может тогда существенно отнимать баллы за установку непроверенных задач? Глядишь и внимательность повысится

Мой профиль

Да, я думал об этом. Но пока "жалость" брала верх.

Мой профиль

Нельзя использовать количество попыток сдачи в формуле. Тогда можно будет отправить ее 30 раз(накрутить таким образом балл за нее) и потом сдать.
Неплохим вариантом было бы расчитывать сложность задачи в зависимости от среднего времени между отдельными сдачами. Если 2 человека за год решило задачу - она сложная. При этом если задачу никто достаточно долгое время не решает, за нее будет расти награда, что будет стимулировать студентов решить ее. У этого есть недостаток: если задача установлена недавно, ее стоимость будет сильно колебаться, поэтому зависимость должна учитывать как давно задача была установлена. При установке можно какждой задаче ставить какой-то средний балл, от которого потом будет расчитываться ее стоимость. Таким образом стоимость каждой задачи будет стремиться к оптимальному соотношению усилия/награда. Если награда слишком падает - падает интерес к задаче, она снова набирает цену и привлекает студентов. При этом со временем стоимость будет стабилизироваться около определенного значения, которое и будет подходящей наградой за задачу.