Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Программные системы и вычислительные методы
Правильная ссылка на статью:

Информационная модель структуры данных и экспериментальная методика улучшения человеко-компьютерного графического интерфейса

Боревич Екатерина Владиславовна

ORCID: 0000-0001-6263-3901

ассистент высшей школы дизайна и архитектуры, Санкт-Петербургский политехнический университет Петра Великого

195251, Россия, Санкт-Петербург область, г. Санкт-Петербург, ул. Политехническая, 29

Borevich Ekaterina Vladislavovna

Assistant of the Higher School of Design and Architecture, Peter the Great St. Petersburg Polytechnic University

195251, Russia, Sankt-Peterburg oblast', g. Saint Petersburg, ul. Politekhnicheskaya, 29

plasma5210@mail.ru
Другие публикации этого автора
 

 
Янчус Виктор Эдмундасович

ORCID: 0000-0001-7220-0819

кандидат технических наук

доцент, кафедра Высшая школа дизайна и архитектуры, Санкт-Петербургский политехнический университет Петра Великого

195251, Россия, Санкт-Петербург область, г. Санкт-Петербург, ул. Политехническая, 29, ауд. В 2.22(2)

Yanchus Viktor Edmundasovich

PhD in Technical Science

Associate Professor, Department of Higher School of Design and Architecture, Peter the Great St. Petersburg Polytechnic University

195251, Russia, Sankt-Peterburg oblast', g. Saint Petersburg, ul. Politekhnicheskaya, 29, aud. V 2.22(2)

victorimop@mail.ru

DOI:

10.7256/2454-0714.2022.1.37730

Дата направления статьи в редакцию:

22-03-2022


Дата публикации:

03-04-2022


Аннотация: В статье авторы описывают разработанную и апробированную методику проведения вычислительного эксперимента по изучению влияния цветового решения на визуальное восприятие видеокадра зрителем. Разработанная методика предназначена для оценки субъективной эмоциональной реакции зрителя, возникающей на завершающем этапе работы зрительной системы человека при восприятии визуальной информации. В статье описаны методы подготовки стимульного материала, методика проведения эксперимента с использованием разработанного программного модуля, расположенного на сетевом ресурсе. Авторами разработаны методика проведения эксперимента с online тестированием, информационная структура базы данных, анкета для сбора информации, форма прохождения тестирования испытуемыми, алгоритмы статистической обработки результатов эксперимента. Данное исследование основано на результатах серии экспериментов, проведенных с использованием программно-аппаратного комплекса фиксации глазодвигательной активности - айтрекера, позволяющего получать объективные параметрические данные шаблона рассматривания стимульного материала. Описанная в статье методика является дополнением к экспериментальному исследованию с использованием технологии айтрекинга. Результаты эксперимента целесообразно использовать при разработке учебных пособий по цветокоррекции, а также в проектировании элементов интерфейсов управления. Методика программно реализована и апробирована в локальной сети Санкт-Петербургского политехнического университета Петра Великого. Планируется доработка модуля интернет-опроса и проведение глобального эксперимента с последующей статистической обработкой результатов.


Ключевые слова:

Визуальное восприятие, Зрительная система, Программный модуль, Стимульный материал, Цветовое решение, Постобработка, Вычислительный эксперимент, Информационная модель данных, Метод ранжирования, Дисперсионный анализ

Abstract: In the article, the authors describe the developed and tested methodology for conducting a computational experiment to study the effect of color solutions on the visual perception of a video frame by the viewer. The developed technique is designed to assess the subjective emotional reaction of the viewer that occurs at the final stage of the human visual system when perceiving visual information. The article describes methods of preparation of stimulus material, methods of conducting an experiment using a developed software module located on a network resource. The authors have developed a methodology for conducting an experiment with online testing, the information structure of the database, a questionnaire for collecting information, the form of testing by the subjects, algorithms for statistical processing of the results of the experiment. This study is based on the results of a series of experiments conducted using a software and hardware complex for fixing oculomotor activity - an eye tracker, which allows obtaining objective parametric data of a template for viewing stimulus material. The technique described in the article is an addition to the experimental study using the eytracking technology. The results of the experiment should be used in the development of textbooks on color correction, as well as in the design of control interface elements. The methodology is programmatically implemented and tested in the local network of Peter the Great St. Petersburg Polytechnic University. It is planned to finalize the Internet survey module and conduct a global experiment with subsequent statistical processing of the results.


Keywords:

Visual perception, Visual system, Software module, Incentive material, Color scheme, Post-processing, Computational experiment, Information data model, Ranking method, Analysis of variance

Введение

Методы квантовой физики описывают свет, как электромагнитное излучение, воспринимаемое человеческим глазом. Как следствие, понятие цвета не существует без наблюдателя (человека). Восприятие цвета человеком выходит за рамки физики и уходит в область физиологии и психологии, так как связано с деятельностью головного мозга человека.

Существуют альтернативные научные подходы к понятию сущности цвета. Физикалисты считают цвет физическим свойством, столь же реальным, как и любое другое [1]. Альтернативным направлением является реляционализм. Цвета являются реляционными или «ситуативными» свойствами [2]. Адвербиализм — это форма реляционализма, приписывающая цвет процессам восприятия, а не объектам или воспринимающим субъектом. В эту теорию вписывается многофункциональность цветового зрения [3].

Функции цвета глубже, чем просто «украшение». Благодаря цветовому зрению человек быстрее различает форму предмета, быстрее определяет расстояние предмета от наблюдателя [4]. Восприятие цвета зависит от условий наблюдения. На восприятие цвета влияют близлежащие цвета, условия освещения и форма объектов[5].

В исследованиях физиологии глазодвигательной активности рассматриваются разные аспекты:наличие отталкивающего эффекта, который действительно привлекает внимание [6]; эффективное отслеживание только один цвет за раз наблюдателем [7];исследование влияния яркости экрана на утомляемость зрителя при решении задач [8];исследования работы восприятия информации в области пара-центрального зрения. В рамках таких исследований интересен эксперимент,выявляющий разницу между мужским и женским периферийным цветовым зрением [9]. Экспериментально даказано, что существует дефицит внимания в местах, недоступных глазу. Однако, зрительное внимание не ограничено глазодвигательным диапазоном [10].

При восприятии реальной среды человек решает задачи по идентификации окружающих объектов по цветовому тону и контрасту с другими объектами. Визуальное восприятие является функцией значения, которое мы связываем – черезусвоенное поведение или разумные предположения – собъектом, который мы видим [11,12]. Железняков В.Н. говорит о переменных зрительного восприятия кинокадра [13]. Для создания условий погружения в кино, помимо художественных задач, необходимо воспроизвести реальные условия восприятия окружающего мира. Эта задача решается путем воссоздания в кадре фильма градиента восприятия, соответствующего условиям восприятия реальной окружающей среды. В настоящее время основная работа с перцепционным градиентом в кадре осуществляется на этапе постобработки с использованием специализированных программ цифровой цветокоррекции видеоизображения (цветокоррекции). Существуют алгоритмы цветокоррекции, основанные на математике, на алгебре кватернионов [14]. Также для цветокоррекции используются методы перекрашивания данного изображения или видео путем сравнения этого изображения с эталонным изображением [15,16]

Эстетическая привлекательность кадра складывается из композиционного построения и эмоционального напряжения возникающего при его восприятии. Семантическая информация изображений является хорошей подсказкой для прогнозирования эмоций [17].

Вопрос о правильном изменении условий восприятия кинокадра с целью придания последнему более сильной, по замыслу режиссера, эмоциональной нагрузки остается нерешенным и требует проведения экспериментальных исследований.

1. Цель и задачи исследования

Цель исследования - оценить степень влияния фактора цветового решения кадра на его восприятие зрителем. В соответствии с этой целью были сформулированы исследовательские задачи, подготовлен и проведен ряд экспериментов [18, 19]. Эксперименты проводились с использованием прибора, фиксирующего двигательную активность глаз (ай-трекера) [20], что позволило дать объективную оценку влияния фактора цветового решения на параметры шаблона исследования стимула. материал.

На основе модели цветовосприятия Юрьева [21] и результатов экспериментов была предложена модель работы зрительной системы человека по распознаванию образа (рис.1).

Рис. 1. Работа зрительной системы человека по восприятию зрительной информации

Восприятие визуальной информации происходит в три этапа:

1. Первый этап заключается в механическом сканировании изображения глазом.

2. Второй этап – распознавание увиденного изображения.

3. Третий этап – формирование эмоционального отклика зрителя. Человек, на основании своего опыта, формирует собственное впечатление от увиденного изображения.

На первых двух этапах с помощью айтрекера оценивалась зависимость зрительского восприятия кадра от цветового решения. Статистически значимое влияние цветового решения было выявлено на этапе распознавания образов.

На завершающем этапе восприятия изображения эмоциональное впечатление зрителя зависит не только от наблюдаемого объекта, но и от жизненного опыта человека (образования, эрудиции), а также от настроения и самочувствия наблюдателя. Чтобы нивелировать влияние косвенных факторов восприятия стимульного материала, зависящих от наблюдателя, на эмоциональную оценку стимула, необходимо расширить круг испытуемых. В таких экспериментальных условиях айтрекер оказался малоэффективным по двум причинам:

• необходимость опроса большого количества испытуемых;

• необходимость использования весового коэффициента привлекательности кадра, который определяет сам испытуемый (метод ранжирования)[22].

Цель этого эксперимента – выявить влияние цветового решения кадра на эмоциональную реакцию наблюдателя.

В соответствии с поставленной целью были сформулированы следующие задачи:

• разработка экспериментальной установки;

• разработка программного модуля, располагаемого на сетевом ресурсе и позволяющего опрашивать испытуемых без привлечения их в лабораторию;

• обработка полученных данных.

Первая модель разработанного программного модуля оказалась малоэффективной. Интерес к прохождению пропадал после выполнения задачи эксперимента испытуемым уже на пятом стимуле. Затем испытуемый вырабатывал определенную систему ответов и действовал шаблонно. Для поддержания интереса на протяжении всего эксперимента была разработана усовершенствованная экспериментальная модель, реализованная посредством соответствующего программного модуля [23].

2. Методика подготовки стимульного материала

Для составления визуального ряда, стимульного материала, выбраны кадры из фильмов и анимационных фильмов. Содержимое кадров отвечало ряду требований, таких как: наличие смысловой нагрузки и наличие двух центров интереса (рис.2). Для дополнительных стимулов использовались кадры из фильмов или анимационных фильмов с одним центром интереса или с неявным центром интереса (виды натуры). Для постановки эксперимента были выбраны четыре различных цветовых решения кинокадра в соответствии с теорией цвета и цветовых контрастов по И. Иттену и контрольное черно-белое изображение (рис. 3) [24].

В результате были созданы два массива таргетных стимулов: массив фотореалистичных стимулов и массив анимированных стимулов. Каждый массив таргетных стимулов содержит 25 стимулов в пяти цветовых решениях (всего 150 стимулов). Кроме того, были созданы два массива дополнительных стимулов (фотореализм и анимация), для стимулов с одним центром интереса по 50 стимулов в четырех цветовых решениях (200 стимулов), а для стимулов с неопределенным центром интереса из 25 стимулов – три цветовых решения (75 стимулов).

Рис. 2. Выбор стимула с двумя центрами интереса. Зона №1 – объект, являющийся центром интереса. Зона №2 – объект, находящийся в центре внимания. Зона №3 – фон

Рис. 3. Пример стимульного материала (анимационный кадр и видеокадр в пяти

цветовых решениях)

Кадры были преобразованы путем обработки в графическом редакторе. Методика подготовки стимулов аналогична предыдущим экспериментам и подробно описана в предыдущих статьях: Экспериментальное исследование цифровых моделей цветокоррекции и их влияние на визуальную фиксацию видеокадров; Исследование значения цветового решения в процессе согласования кинокадра [18, 19].

3. Информационная модель данных

На рис. 4 представлена блок-схема информационной модели данных вычислительного эксперимента. Структура информационной модели построена на основе методики вычислительного эксперимента и выполняет задачи хранения массивов стимульного материала, персональных данных испытуемых, фиксации результатов тестирования, предварительной обработки результатов вычислительного эксперимента.

Рис. 4. Блок-схема информационной модели данных

Таблицы базы данных со списком атрибутов для каждой таблицы:

Анкета: Персональный идентификатор (PID), ФИО наблюдателя, пол (мужчины-женщины), возраст (количество), регион, образование (среднее, неполное высшее, высший бакалавриат, высшая магистратура, ученая степень), вид образования (техническое, гуманитарное) художественная подготовка (да, нет);

Результаты: PID, дата теста, время выполнения теста (тест на один стимул), FK_анкета, FK_стимул, bww (черно-белое) (ранг 1-5), tre (триада) (ранг 1-5), dop (дополнительный) (ранг от 1 до 5), onw (монохромный теплый) (ранг от 1 до 5), onc (монохромный холодный) (ранг от 1 до 5), err - количество попыток при идентификации одного стимула в 5 цветовых решениях;

Стимулы: PID, признак (два центра интереса, один, природа-фон, т.е. нет), цветовое решение (bww, tre, dop, onw, onc), медиа (фото, анимация, графика, текст), контейнер, имя файла;

Цветовое решение (справочник): PID, Цветовое решение (bww, tre, dop, onw, onc);

Справочник образование: PID, образование (среднее техническое, среднее гуманитарное, неполное высшее, техническое (бакалавриат), незаконченное высшее гуманитарное (бакалавриат), высшее техническое (магистр), высшее гуманитарное (магистр), ученая степень техническая, ученая степень гуманитарная);

Справочник региона: PID, название региона, часть света.

4. Методика проведения эксперимента

При постановке эксперимента ключевым моментом является разработка задачи для испытуемых. С одной стороны, задача не должна быть слишком сложной,чтобы исключить долгое предварительное обучение испытуемого перед прохождением эксперимента. С другой стороны, не слишком простой, чтобы во время эксперимента испытуемый не терял интерес к выполняемой задаче.

Для реализации ранжирования таргетной серии стимулов задание для испытуемого в эксперименте было усовершенствовано. Таргетные стимулы (5 стимулов) размещается в матрице 4*4 в случайном порядке (рис. 5). Остальные поля заполняются дополнительными стимулами, выбранными из соответствующих массивов в случайном порядке. Размер экрана считается 1600*1200 пикселей. Поэтому размер стимулов в матрице будет 400*300 пикселей. При матрице стимулов 5*5 размер стимула будет слишком мал, что будет затруднять идентификацию испытуемым таргетныхстимулов (рис. 3). На рис. 5 показан пример рабочего поля эксперимента, таргетныестимулы и дополнительные расположены в сетке. На рисунке также показана информация о количестве центров интереса для каждого из отображаемых стимулов в левом нижнем углу.

Рис. 5. Пример поля для ранжирования испытуемымтаргетных стимулов. Количество центров интереса указано в левом нижнем углу каждого стимула

При активации стимула из дополнительнойбазы фиксируется ошибка, которая заносится в таблицу результатов эксперимента. Таким образом, каждому стимулу присваивается весовой коэффициент от 1 до 5 и фиксируется количество ошибок ранжирования одного ряда таргетных стимулов.

5. Статистическая обработка результатов эксперимента

В таблице 1 представлены данные, полученные после прохождения теста.

Таблица 1. Пример данных после прохождения теста.

PID

Дата

FK_анкета

FK_стимул

bww

tre

dop

onw

onc

err

ХХХ

Дд.мм.гг

Иванов

1_фото

3

2

1

4

5

0

Иванов

-------

Иванов

25_фото

5

2

3

1

4

3

-------

-------

ХХХ

Дд.мм.гг

Петров

1_фото

3

2

1

4

5

0

Петров

-------

Петров

25_фото

5

2

3

1

4

3

-------

-------

Математическая обработка экспериментальных данных проводилась с использованием метода статистической обработки – дисперсионногоанализа (ANOVA) [25]. Этапы обработки данных, полученных в результате эксперимента, отражены на блок-схеме (рис. 6).

Рис. 6. Алгоритм статистической обработки экспериментальных данных

На первом этапе выполняется процедура усреднения весового коэффициента по всем однородным стимулам (фотореализм-анимация) для каждого испытуемого и для каждого цветового решения:

(1)

где X(i,s,c) - функция для вычисления средних значений весового коэффициента в соответствующем цветовом решении и в соответствующей стилизации кадра для одного наблюдателя;i–PID наблюдателя; s– стилизация стимула (фотореализм или анимация);c–определяет переменные цветовые решения (bww, tre, dop, onw, onc); N с идентификатором isck– значениевесового коэффициента для одного наблюдателя по одному стимулу; n– количество стимулов в каждом цветовом решении и стилизации кадра. Поскольку наблюдатель в эксперименте должен решить задачу на 25 основных фотореалистичных стимулах и 25 анимационных стимулах, усреднение происходит по 25 стимулам. Вид данных представлен в таблице 2. В столбце «Mean_err» указано среднее количество ошибок при прохождении теста для одного ряда таргетных стимулов.

Таблица 2. Пример данных после выполнения операции усреднения.

PID

Дата

FK_анкета

Стим

Mean_bww

Mean_tre

Mean_dop

Mean_onw

Mean_onc

Mean_err

ХХХ

Дд.мм.гг

Иванов

фото

3,6

2,4

2,8

3,2

3

1,3

ХХХ

Дд.мм.гг

Петров

аним

3,7

2.3

2,8

3,4

2,8

1,7

Второй этап – сравнение выборок по факторам:

• цветовое решение;

• фактор стилизации кадра (фотореализм или анимационный);

• гендерный признак;

• фактор типа образования (техническое или гуманитарное);

• фактор художественной подготовки (наличие или отсутствие).

Сравнение выборок осуществляется с помощью однофакторного дисперсионного анализа. Риск совершения ошибки первого рода (отказ от истинной нулевой гипотезы) соответствует p-значению. Если p-значение меньше уровня значимости, нулевая гипотеза отклоняется.

Уровень значимости – это допустимая вероятность статистической ошибки, при которой различия считаются значимыми, но на самом деле они случайны. Если анализируемая выборка имеет более 100 значений, то порог отклонения нулевой гипотезы целесообразно принять равным 0,01. Так, если р-значение меньше 0,01, можно было бы принять решение о наличии связи (различия) [26,27].

6. Выводы

Предлагается метод проведения вычислительного эксперимента по изучению влияния фактора цветовой схемы на восприятие видеокадра зрителем на завершающем этапе восприятия изображения. Разработанная методика позволяет охватить большое количество испытуемых. Этот фактор позволит нивелировать субъективный компонент в оценке испытуемыми стимульного материала и сделать результаты эксперимента более достоверными.

Разработанная методика эксперимента позволяет оценить степень влияния цветового решения на субъективную оценку кадра зрителем. Предложенная система массивов с данными позволяет использовать разработанный программный модуль, расположенный на сетевом ресурсе, для проведения эксперимента. Элемент анкетирования испытуемых позволяет оценить влияние факторов пола, возраста и образования на восприятие персонала. Задачу сохранения интереса испытуемого на протяжении всего эксперимента решает модель эксперимента с использованием дополнительных кадров.

Результаты эксперимента целесообразно использовать при разработке учебных пособий по цветокоррекции, а также в проектировании элементов интерфейсов управления.

Методика программно реализована и апробирована в локальной сети Санкт-Петербургского политехнического университета Петра Великого. Планируется доработка модуля интернет-опроса и проведение глобального эксперимента с последующей статистической обработкой результатов.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

В рецензируемой статье рассматриваются научные подходы к описанию светового излучения, излагаются функции света в контексте передачи семантической информация посредством изображений и эмоциональной нагрузки кинокадра. Предмет исследования - экспериментальная методика улучшения человеко-компьютерного графического интерфейса. Цель статьи - оценить степень влияния фактора цветового решения кадра на его восприятие зрителем.
Методология исследования включает применение известных моделей цветовосприятия, решение задач, связанных с разработкой экспериментальной установки и программного модуля, позволяющего опрашивать испытуемых без привлечения их в лабораторию, а также обработкой полученных данных.
Актуальность статьи автор справедливо связывает с тем, что вопрос о правильном изменении условий восприятия кинокадра с целью придания последнему более сильной, по замыслу режиссера, эмоциональной нагрузки остается нерешенным и требует проведения экспериментальных исследований.
Новизна результатов рецензируемого исследования, по мнению рецензента заключается в предложенном авторами статьи метод проведения вычислительного эксперимента по изучению влияния фактора цветовой схемы на восприятие видеокадра зрителем на завершающем этапе восприятия изображения. Предложенная система массивов с данными позволяет использовать разработанный программный модуль, расположенный на сетевом ресурсе, для проведения эксперимента.
В статье структурно выделены следующие разделы: Введение, Цель и задачи исследования, Методика подготовки стимульного материала, Информационная модель данных, Методика проведения эксперимента, Выводы, Библиография. При изложении материала авторами выдержан научный стиль его подачи.
В статье рассмотрена работа зрительной системы человека по восприятию зрительной информации, выделены этапы восприятия визуальной информации, описана методика создания массивов таргетных стимулов (массива фотореалистичных стимулов и массива анимированных стимулов), их параметры; приведен пример стимульного материала (анимационный кадр и видеокадр в пяти цветовых решениях); представлены блок-схема информационной модели данных вычислительного эксперимента и результаты статистической обработки результатов эксперимента, приведен алгоритм статистической обработки экспериментальных данных, предусматривающий усреднение весового коэффициента по всем однородным стимулам (фотореализм-анимация) для каждого испытуемого и для каждого цветового решения, а также сравнение выборок по пяти факторам.
По результатам исследования сделаны выводы, отражающие научную новизну и практическую значимость результатов, полученных в результате проделанной работы. Разработанная авторами методика позволяет охватить большое количество испытуемых, что позволит нивелировать субъективный компонент в оценке испытуемыми стимульного материала и сделать результаты эксперимента более достоверными.
Библиографический список статьи, включает 27 источников – публикации отечественных и зарубежных ученых. На приведенные в списке литературы источники в тексте имеются адресные ссылки.
Рецензируемый материал соответствует тематике журнала «Программные системы и вычислительные методы», отражает результаты оригинальной исследовательской работы, что позволяет рекомендовать его к опубликованию.