Тема: Верификация данных мониторинга
Ниже коротко (и не очень) про основные механизмы верификации данных мониторинга качества подготовки кадров (попытка расставить все точки).
Реализуются следующие уровни контроля данных:
строгий контроль: фиксация данных, взаимосвязей данных - наличие выявленных несоответствий указывает на однозначную некорректность (недостоверность) данных.
выявление замечаний к данным по критериям «нежесткого» контроля, указывающим на вероятное (весьма вероятное) наличие ошибок в данных. Замечания по критериям «нежесткого» контроля свидетельствуют о «неправдоподобности» взаимосвязанных данных, либо о том, что данные в значительной степени выбиваются из средних по системе значений и т.д. При этом указанные данные могут быть достоверны только в случаях, обоснованных уникальными особенностями функционирования образовательной организации. Все выявленные замечания должны быть устранены путем исправления ошибочных/подтверждения со стороны образовательной организации достоверных данных.
выявление замечаний по критериям «нежесткого» контроля, указывающим на необходимость дополнительного контроля данных со стороны отчитывающейся образовательной организации, не позволяющим с какой-либо вероятностью констатировать недостоверность данных.
Этапы верификации:
подготовка и формирование отчета образовательной организацией
анализ предоставленных данных
Теперь обо всем подробно и по порядку.
на этапе подготовки и формирования отчета
- автоматическая синхронизация электронной версии отчета с данными ранее предоставленных отчетов по формам ФСН.
Реализуется путем выгрузки и блокировки (запрета на редактирование) в программном модуле соответствующих статистических данных.
Что делать: см. http://forum.miccedu.ru/topic/1396/
- контроль по формулам логического и арифметического контроля (ФЛАК) – наличие выявленных ошибок и несоответствий указывает на однозначную некорректность (недостоверность) введенных данных. Формулы логического и арифметического контроля обеспечивают согласование данных по жестко взаимосвязанным статистическим показателям, а также ограничение допустимого диапазона значений. При наличии выявленных ошибок отчет не может быть сформирован.
Реализуется в процессе или после завершения заполнения данных отчета в автоматизированном режиме средствами программного модуля («Контроль» -> «Протокол контроля»), обязательно выполняется перед формированием выходного файла с отчетом. Результат представляется в виде отчета об ошибках с указанием конкретных данных отчета.
Что делать: необходимо исправить все арифметические и логические ошибки в данных отчета.
- контроль по критериям «нежесткого» контроля.
Реализуется в процессе или после завершения заполнения данных отчета в автоматизированном режиме средствами программного модуля («Контроль» -> «Нежесткий контроль»). Результат представляется в виде отчета о выявленных замечаниях. В отчете представляется перечень несоответствий с указанием анализируемых данных (разделов отчета), а не конкретных показателей, т.к. определение их достоверности возможно только после детального анализа массива данных конкретной образовательной организации.
Что делать: Т.к. критерии «нежесткого» контроля не свидетельствуют об однозначной некорректности данных, отчет при наличии замечаний может быть сформирован и предоставлен. Однако, при этом не следует игнорировать выявленные замечания. Необходимо:
- дополнительно проверить достоверность указанных в отчете сведений (в т.ч. убедиться в правильности трактовки показателей формы), их соответствие данным первичной учетной документации образовательной организации, полноту заполнения отчета, корректность вычислений для расчетных показателей и т.д.,
- проанализировать (!), какие именно особенности функционирования образовательной организации, реализации образовательных программ являются причиной выявленного несоответствия данных отчета.
на этапе обработки и анализа предоставленных данных
Контроль корректности и достоверности осуществляется на этапе обработки предоставляемых сведений в полуавтоматическом режиме (в т.ч. по критериям «нежесткого» контроля) путем логического осмысления полученных данных, их анализа, сравнения с данными других образовательных организаций, имеющих схожие характеристики, с аналогичными данными предшествующего периода и т.д. и нацелен на выявление следующих расхождений в данных:
– «всплески» значений показателей (в т.ч. значительные отклонения от средних по системе значений);
– несоответствие взаимосвязанных данных, нарушение логических связей;
– полнота заполнения;
– округление данных;
– заполнение в неверных единицах изменения;
– расхождения с данными внешних независимых источников, в т.ч. с данными ФСН;
– значительные изменения относительно предыдущего отчетного периода
и др.
Все результаты верификации данных публикуются в личном кабинете организации на сайте ГИВЦ, а также доступны для просмотра учредителями (органами государственной власти в сфере образования субъектов РФ).
Что делать:
В случае выявления ошибок в данных отчета (в том числе в части полноты заполнения) необходимо внести исправления и заново предоставить отчет в полном объеме.
В случае, если противоречащие критериям проверки данные являются достоверными, необходимо направить на электронный адрес stat_spo@miccedu.ru официальное письмо в адрес ГИВЦ, содержащее обоснование (копии подтверждающих документов) достоверности данных отчета.
При наличии замечаний, не требующих документального подтверждения, т.е. не позволяющих с какой-либо вероятностью констатировать недостоверность данных (в личном кабинете отображаются в соответствующей таблице), необходимо дополнительно проверить корректность сведений, в случае выявления ошибок внести исправления. Для исключения информации о таких замечаниях из личного кабинета образовательная организация может предоставить документы, подтверждающие достоверность данных.
Важно
Достоверность предоставляемых в отчете сведений является ответственностью отчитывающейся организации (руководителя), а не результатом проверки со стороны ГИВЦ.
ГИВЦ реализует описанный комплекс программно-информационных инструментов контроля предоставляемых данных с целью помочь образовательным организациям выявить допущенные технические ошибки в процессе предоставления данных отчета. Указанный выше механизм не является средством подтверждения достоверности. Отсутствие замечаний по критериям контроля не гарантирует корректность данных отчета.
Не следует пытаться "подогнать" данные отчета под критерии контроля. Это приводит к усугублению расхождений с другими данными отчета и увеличению числа выявляемых несоответствий (которые могут "всплыть" позднее). Противоречащие критериям контроля достоверные сведения (если они являются таковыми), обоснованные объективными факторами, могут быть подтверждены.
Анализ данных осуществляется на всем протяжении процедуры мониторинга вплоть до публикации результатов. Критерии контроля в процессе обработки сведений могут быть уточнены, дополнены и модифицированы. При этом достоверные сведения (а таковыми для каждой организации может быть только один вариант данных) не потребуют исправления вне зависимости от выявления новых замечаний (максимум - подтверждения). Все исправления и необходимость повторного предоставления отчета являются следствием допущенных ошибок в предоставляемых сведениях.
______________________________________________________
* представленный материал будет уточняться/дополняться по мере реализации процедуры мониторинга качества подготовки кадров