Лабораторная работа №10 Лебедева Надежда
| Строка 1: | Строка 1: | ||
Тема: Экспертно-аналитические методы оценки программных средств образовательного назначения (ПС ОН) | Тема: Экспертно-аналитические методы оценки программных средств образовательного назначения (ПС ОН) | ||
| + | {{Шаблон:Характеристика ПС ОН}}, {{Шаблон:Оценочный лист качества ПС ОН}} | ||
| − | + | {{Шаблон:Характеристика ПС ОН}} | |
| − | + | ||
Каждое ПС должно выполнять определенные функции, т.е. делать то, что задумано. Хорошее ПС должно обладать еще целым рядом свойств, позволяющим успешно его использовать в течении длительного периода, т.е. обладать определенным качеством. Качество ПС - это совокупность его черт и характеристик, которые влияют на его способность удовлетворять заданные потребности пользователей [3.6]. Это не означает, что разные ПС должны обладать одной и той же совокупностью таких свойств в их высшей возможной степени. Этому препятствует тот факт, что повышение качества ПС по одному из таких свойств часто может быть достигнуто лишь ценой изменения стоимости, сроков завершения разработки и снижения качества этого ПС по другим его свойствам. Качество ПС является удовлетворительным, когда оно обладает указанными свойствами в такой степени, чтобы гарантировать успешное его использование. | Каждое ПС должно выполнять определенные функции, т.е. делать то, что задумано. Хорошее ПС должно обладать еще целым рядом свойств, позволяющим успешно его использовать в течении длительного периода, т.е. обладать определенным качеством. Качество ПС - это совокупность его черт и характеристик, которые влияют на его способность удовлетворять заданные потребности пользователей [3.6]. Это не означает, что разные ПС должны обладать одной и той же совокупностью таких свойств в их высшей возможной степени. Этому препятствует тот факт, что повышение качества ПС по одному из таких свойств часто может быть достигнуто лишь ценой изменения стоимости, сроков завершения разработки и снижения качества этого ПС по другим его свойствам. Качество ПС является удовлетворительным, когда оно обладает указанными свойствами в такой степени, чтобы гарантировать успешное его использование. | ||
| Строка 29: | Строка 29: | ||
Функциональность и надежность являются обязательными критериями качества ПС, причем обеспечение надежности будет красной нитью проходить по всем этапам и процессам разработки ПС. Остальные критерии используются в зависимости от потребностей пользователей в соответствии с требованиями к ПС - их обеспечение будет обсуждаться в подходящих разделах курса. [http://www.itdom.info/Tehnol/PS3.html] | Функциональность и надежность являются обязательными критериями качества ПС, причем обеспечение надежности будет красной нитью проходить по всем этапам и процессам разработки ПС. Остальные критерии используются в зависимости от потребностей пользователей в соответствии с требованиями к ПС - их обеспечение будет обсуждаться в подходящих разделах курса. [http://www.itdom.info/Tehnol/PS3.html] | ||
| + | {{Шаблон:Оценочный лист качества ПС ОН}} | ||
| − | + | ||
| − | + | ||
Методология оценки характеристик | Методология оценки характеристик | ||
Версия 14:31, 7 октября 2010
Тема: Экспертно-аналитические методы оценки программных средств образовательного назначения (ПС ОН) Разработчик(и)________________________________________________________________________
Организация___________________________________________________________________________
Автор(ы)______________________________________________________________________________
Сведения об авторах___________________________________________________________________
Учебный предмет_______________________________________________________________________
Тема__________________________________________________________________________________
Наименование программного средства (ПС) учебного назначения __________________________
Год разработки________________________________________________________________________
Год тиражирования_____________________________________________________________________
Тип ПС или функциональное назначение ПС_______________________________________________
Обеспечение деятельности с помощью ПС (преподавателем; обучаемым преподавателем и обучаемым)_____ ____________________________________________________________________
Виды учебной деятельности, обеспечиваемой ПС (индивидуальная; групповая; коллективная)______________________________________________________________________________________
Рекомендуемая деятельность с использованием ПС________________________________________ ______________________________________________________________________________________
Краткая аннотация ПС__________________________________________________________________ ______________________________________________________________________________________
Психолого-педагогическая цель использования ПС :
–развитие мышления;
–формирование базовых знаний по основам наук;
–формирование умений и (или) навыков учебной деятельности ;
–формирование информационной культуры (перечень формируемых знаний, умений, навыков; по возможности при перечислении формируемых знаний, умений, навыков указать достоверность контроля)_______________________________________________________________
Сопутствующий учебный материал _______________________________________________________
Опыт применения ПС в учебном процессе: имеется (продолжительность) / не имеется_______________________________________________________________________________
Активное время работы обучаемого с ПС_________________________________________________
Набор показателей, характеризующих программно-аппаратные средства ПЭВМ:
–тип ПЭВМ_____________________________________________________________________________
– тип монитора________________________________________________________________________
– тип ГМД_____________________________________________________________________________
Язык(и) программирования при разработке ПС____________________________________________
Базовое программное средство (пакет ПС)_______________________________________________
Наличие графики: ДА/НЕТ_______________________________________________________________
Используемые графические пакеты, инструментальные программные средства______________________________________________________________________________
Наличие звука: ДА/НЕТ_________________________________________________________________
Периферийное оборудование_______________________________________
Специальное оборудование , сопрягаемое с ПЭВМ_________________________________
Наличие документации: ДА/НЕТ___________________________________
Наличие рекламного проспекта: ДА/НЕТ___________________________
(где хранится/где издано) _____________________________________
Наличие описания применения: ДА/НЕТ ________________________
(где хранится/где издано) __________________________________
Наличие инструкции пользователя: ДА/НЕТ ___________________
(где хранится/где издано)____________________________________
Наличие методических рекомендаций по использованию:ДА/НЕТ___________
(где хранится/где издано ) _________________________________________
Наличие разрешения на копирование: ДА/НЕТ ______________________
Финансирование разработки ________________________________
Стоимость разработки _______________________________________
Цена копии _____________________________________________
Имя программы (имя файла), N дискеты. _______________________
Распространитель _________________________________________, Оценивающий (Ф.,И.,О., должность, звание) [править] Дата [править] Оценка( + + ; + – ; – – ) или баллы [править] Технический уровень (соответствие техническим требованиям к ПС учебного назначения) [править] 1.1. Прогон программы (запуск, ввод данных, управление, вывод информации)
Наличие автозагрузки____________________________
Надежность работы_______________________________________________
Возможность демонстрационного прогона (с указанием параметров)_____
Возможность повтора требуемых кадров программы ______________
Возможность отмены ввода ____________________________________
Наличие допустимой задержки по времени [править] 1.2. Возможность подключения периферийного оборудования для:
- распечатки информации, изображенной на экране
- распечатки результатов обработки информации
- ввода, измерения, вывода и визуализации информации о реально протекающем процессе [править] 2. Эргономический уровень
(соответствие эргономическим требованиям к ПС учебного назначения) [править] 2.1.Сервис пользователя
Наличие иерархических меню(легкость доcтyпа к информации)
Приемлемость, имя пользователя комбинаций нажатия клавиш
Наличие интерактивного диалога
Наличие возможности подсказки, комментария
Оптимальность и мнемоничность аббревиатуры [править] 2.2.Качественность представления информации на экране
Представление информации в соответствии с эргономическими требованиями
Четкость изображения
Соответствие изображения на экране возможностям ПЭВМ данного типа (оптимальное распределение информации на экране, дизайн)
Представление графических форм в соответствии с возможностями современной компьютерной графики
Возможность использования прописных и строчных букв в сочетании с графикой
Итоговая оценка [править] З. Педагогический уровень
(соответствие педагогическим требованиям к ПС учебного назначения)
Цели использования ПС учебного назначения
Методы обучения с использованием ПС
Отражение в ПС современного состояния научных и педагогических знаний
Обоснованность выбора педагогических целей использования ПС и содержания учебного материала
Наличие новых организационных форм и методов обучения, поддерживаемых средствами новых информационных технологий
Образовательная ценность (соответствие дидактическим требованиям к ПС учебного назначения) [править] 3.1. Форма представления учебного материала
(графика, таблицы, текст, рисунки, схемы, картинки и др.)
Оптимальность взаимосвязи между формой представления учебного материала и его содержанием
Надежность сохранности формы представления и порядка прогона программ от несанкционированного нажатия клавиш [править] 3.2.Психолого-педагогическое воздействие
Формирование мышления
Формирование учебного опыта самостоятельного приобретения, знаний, умений, навыков
Приобретение учебного опыта экспериментально - исследовательской деятельности [править] 4.Уровень интерактивности [править] 4.1.Возможность организации режима диалогового взаимодействия с развитыми средствами общения
Наличие разнообразных средств ведения диалога (возможность задавать вопросы в произвольной форме, при наличии "ключевого" слова, в форме с ограниченным набором символов)
Наличие различных уровней трудности (сложности) при изложении учебного материала
Возможность выбора варианта содержания учебного материала
Возможность выбора режима работы с ПС
Возможность изменения скорости работы с ПС
Возможность использования (по выбору) некоторых или всех параметров
Возможность ввода и обработки параметров реально протекающих процессов
Возможность модификации программы, данных, информации [править] 4.2.Возможность обеспечения обратной связи
Прием и выдача вариантов ответа
Наличие возможности анализа ошибок, их коррекции
Наличие возможности диагностики ошибок по результатам учебной деятельности
Использование совместно с ПС учебного назначения других средств обучения
Содействие развитию сотрудничества между учащимися (групповая, коллективная учебная или досуговая деятельность) [править] 5.Итоговая оценка [править] 6.Итоговое заключение эксперта
(обобщенное впечатление о ПС учебного назначения, его особенности)
Наличие опыта применения ПС в реальном учебном процессе
Наличие эмпирических или критериальных данных о повышении эффективности процесса обучения, развитии личности обучаемого
Достижимость поставленных педагогических целей
Разработчик(и)________________________________________________________________________
Организация___________________________________________________________________________
Автор(ы)______________________________________________________________________________
Сведения об авторах___________________________________________________________________
Учебный предмет_______________________________________________________________________
Тема__________________________________________________________________________________
Наименование программного средства (ПС) учебного назначения __________________________
Год разработки________________________________________________________________________
Год тиражирования_____________________________________________________________________
Тип ПС или функциональное назначение ПС_______________________________________________
Обеспечение деятельности с помощью ПС (преподавателем; обучаемым преподавателем и обучаемым)_____ ____________________________________________________________________
Виды учебной деятельности, обеспечиваемой ПС (индивидуальная; групповая; коллективная)______________________________________________________________________________________
Рекомендуемая деятельность с использованием ПС________________________________________ ______________________________________________________________________________________
Краткая аннотация ПС__________________________________________________________________ ______________________________________________________________________________________
Психолого-педагогическая цель использования ПС :
–развитие мышления;
–формирование базовых знаний по основам наук;
–формирование умений и (или) навыков учебной деятельности ;
–формирование информационной культуры (перечень формируемых знаний, умений, навыков; по возможности при перечислении формируемых знаний, умений, навыков указать достоверность контроля)_______________________________________________________________
Сопутствующий учебный материал _______________________________________________________
Опыт применения ПС в учебном процессе: имеется (продолжительность) / не имеется_______________________________________________________________________________
Активное время работы обучаемого с ПС_________________________________________________
Набор показателей, характеризующих программно-аппаратные средства ПЭВМ:
–тип ПЭВМ_____________________________________________________________________________
– тип монитора________________________________________________________________________
– тип ГМД_____________________________________________________________________________
Язык(и) программирования при разработке ПС____________________________________________
Базовое программное средство (пакет ПС)_______________________________________________
Наличие графики: ДА/НЕТ_______________________________________________________________
Используемые графические пакеты, инструментальные программные средства______________________________________________________________________________
Наличие звука: ДА/НЕТ_________________________________________________________________
Периферийное оборудование_______________________________________
Специальное оборудование , сопрягаемое с ПЭВМ_________________________________
Наличие документации: ДА/НЕТ___________________________________
Наличие рекламного проспекта: ДА/НЕТ___________________________
(где хранится/где издано) _____________________________________
Наличие описания применения: ДА/НЕТ ________________________
(где хранится/где издано) __________________________________
Наличие инструкции пользователя: ДА/НЕТ ___________________
(где хранится/где издано)____________________________________
Наличие методических рекомендаций по использованию:ДА/НЕТ___________
(где хранится/где издано ) _________________________________________
Наличие разрешения на копирование: ДА/НЕТ ______________________
Финансирование разработки ________________________________
Стоимость разработки _______________________________________
Цена копии _____________________________________________
Имя программы (имя файла), N дискеты. _______________________
Распространитель _________________________________________
Каждое ПС должно выполнять определенные функции, т.е. делать то, что задумано. Хорошее ПС должно обладать еще целым рядом свойств, позволяющим успешно его использовать в течении длительного периода, т.е. обладать определенным качеством. Качество ПС - это совокупность его черт и характеристик, которые влияют на его способность удовлетворять заданные потребности пользователей [3.6]. Это не означает, что разные ПС должны обладать одной и той же совокупностью таких свойств в их высшей возможной степени. Этому препятствует тот факт, что повышение качества ПС по одному из таких свойств часто может быть достигнуто лишь ценой изменения стоимости, сроков завершения разработки и снижения качества этого ПС по другим его свойствам. Качество ПС является удовлетворительным, когда оно обладает указанными свойствами в такой степени, чтобы гарантировать успешное его использование.
Совокупность свойств ПС, которая образует удовлетворительное для пользователя качество ПС, зависит от условий и характера эксплуатации этого ПС, т.е. от позиции, с которой должно рассматриваться качество этого ПС. Поэтому при описании качества ПС должны быть прежде всего фиксированы критерии отбора требуемых свойств ПС. В настоящее время критериями качества ПС принято считать [3.6-3.10]:
* функциональность, * надежность, * легкость применения, * эффективность, * сопровождаемость, * мобильность.
Функциональность - это способность ПС выполнять набор функций, удовлетворяющих заданным или подразумеваемым потребностям пользователей. Набор указанных функций определяется во внешнем описании ПС.
Надежность подробно обсуждалась в первой лекции.
Легкость применения - это характеристики ПС, которые позволяют минимизировать усилия пользователя по подготовке исходных данных, применению ПС и оценке полученных результатов, а также вызывать положительные эмоции определенного или подразумеваемого пользователя.
Эффективность - это отношение уровня услуг, предоставляемых ПС пользователю при заданных условиях, к объему используемых ресурсов.
Сопровождаемость - это характеристики ПС, которые позволяют минимизировать усилия по внесению изменений для устранения в нем ошибок и по его модификации в соответствии с изменяющимися потребностями пользователей.
Мобильность - это способность ПС быть перенесенным из одной среды (окружения) в другую, в частности, с одной ЭВМ на другую.
Функциональность и надежность являются обязательными критериями качества ПС, причем обеспечение надежности будет красной нитью проходить по всем этапам и процессам разработки ПС. Остальные критерии используются в зависимости от потребностей пользователей в соответствии с требованиями к ПС - их обеспечение будет обсуждаться в подходящих разделах курса. [1]
Оценивающий (Ф.,И.,О., должность, звание)
[править] Дата [править] Оценка( + + ; + – ; – – ) или баллы [править] Технический уровень (соответствие техническим требованиям к ПС учебного назначения) [править] 1.1. Прогон программы (запуск, ввод данных, управление, вывод информации)
Наличие автозагрузки____________________________
Надежность работы_______________________________________________
Возможность демонстрационного прогона (с указанием параметров)_____
Возможность повтора требуемых кадров программы ______________
Возможность отмены ввода ____________________________________
Наличие допустимой задержки по времени [править] 1.2. Возможность подключения периферийного оборудования для:
- распечатки информации, изображенной на экране
- распечатки результатов обработки информации
- ввода, измерения, вывода и визуализации информации о реально протекающем процессе [править] 2. Эргономический уровень
(соответствие эргономическим требованиям к ПС учебного назначения) [править] 2.1.Сервис пользователя
Наличие иерархических меню(легкость доcтyпа к информации)
Приемлемость, имя пользователя комбинаций нажатия клавиш
Наличие интерактивного диалога
Наличие возможности подсказки, комментария
Оптимальность и мнемоничность аббревиатуры [править] 2.2.Качественность представления информации на экране
Представление информации в соответствии с эргономическими требованиями
Четкость изображения
Соответствие изображения на экране возможностям ПЭВМ данного типа (оптимальное распределение информации на экране, дизайн)
Представление графических форм в соответствии с возможностями современной компьютерной графики
Возможность использования прописных и строчных букв в сочетании с графикой
Итоговая оценка [править] З. Педагогический уровень
(соответствие педагогическим требованиям к ПС учебного назначения)
Цели использования ПС учебного назначения
Методы обучения с использованием ПС
Отражение в ПС современного состояния научных и педагогических знаний
Обоснованность выбора педагогических целей использования ПС и содержания учебного материала
Наличие новых организационных форм и методов обучения, поддерживаемых средствами новых информационных технологий
Образовательная ценность (соответствие дидактическим требованиям к ПС учебного назначения) [править] 3.1. Форма представления учебного материала
(графика, таблицы, текст, рисунки, схемы, картинки и др.)
Оптимальность взаимосвязи между формой представления учебного материала и его содержанием
Надежность сохранности формы представления и порядка прогона программ от несанкционированного нажатия клавиш [править] 3.2.Психолого-педагогическое воздействие
Формирование мышления
Формирование учебного опыта самостоятельного приобретения, знаний, умений, навыков
Приобретение учебного опыта экспериментально - исследовательской деятельности [править] 4.Уровень интерактивности [править] 4.1.Возможность организации режима диалогового взаимодействия с развитыми средствами общения
Наличие разнообразных средств ведения диалога (возможность задавать вопросы в произвольной форме, при наличии "ключевого" слова, в форме с ограниченным набором символов)
Наличие различных уровней трудности (сложности) при изложении учебного материала
Возможность выбора варианта содержания учебного материала
Возможность выбора режима работы с ПС
Возможность изменения скорости работы с ПС
Возможность использования (по выбору) некоторых или всех параметров
Возможность ввода и обработки параметров реально протекающих процессов
Возможность модификации программы, данных, информации [править] 4.2.Возможность обеспечения обратной связи
Прием и выдача вариантов ответа
Наличие возможности анализа ошибок, их коррекции
Наличие возможности диагностики ошибок по результатам учебной деятельности
Использование совместно с ПС учебного назначения других средств обучения
Содействие развитию сотрудничества между учащимися (групповая, коллективная учебная или досуговая деятельность) [править] 5.Итоговая оценка [править] 6.Итоговое заключение эксперта
(обобщенное впечатление о ПС учебного назначения, его особенности)
Наличие опыта применения ПС в реальном учебном процессе
Наличие эмпирических или критериальных данных о повышении эффективности процесса обучения, развитии личности обучаемого
Достижимость поставленных педагогических целей
Методология оценки характеристик
Методологии оценивания характеристик качества готовых ПП на различных этапах жизненного цикла посвящен международный стандарт ISO / IEC 14598-1-6:1998-2001 «Software engineering — Product evaluation» (Оценивание программного продукта ), состоящий из шести частей:
Часть 1. 1999. Общий обзор.
Часть 2. 2000. Планирование и управление.
Часть 3. 2000. Процесс для разработчиков.
Часть 4. 1999. Процесс для приобретателей.
Часть 5. 1998. Процесс для оценщиков (испытателей).
Часть 6. 2001. Документирование оценки модулей.
[Рисунок 3. — Взаимосвязь стандартов ISO/IEC 9126 и 14598]
[ открыть крупнее ]
Методология оценки характеристик безопасности ПП в соответствии со стандартом ISO/ IEC 14598 в общем виде будет представлять следующее:
* разработка исходных требований для проведения оценки (определение целей испытаний; выбор характеристик, субхарактеристик, выбор метрик, определение их требуемых значений); * определение методики оценивания характеристик качества ПС, установление уровней приоритета метрик, выделение критериев для проведения измерений; * планирование и проектирование процесса оценки характеристик качества в жизненном цикле ПС; * выполнение измерений для оценивания; сравнение результатов с критериями и требованиями; * обобщение и оценка результатов.
Для каждой характеристики качества рекомендуется сформировать шкалу измерений с выделением требуемых, допустимых и неудовлетворительных значений. [2]
