• 10459
  • 37
  • 9
Нравится блог?
Подписывайтесь!

Как открываются данные

С момента написания предыдущего поста об открытых данных со мною связались из Комитета по правовой статистике и специальным учетам Генеральной прокуратуры Республики Казахстан и выразили желание начать публиковать массивы данных о преступности в удобном формате. Я конечно был рад слышать об этом. Однако они озвучили свою проблему - сложность определить данные значимые для населения. Я задумался над их желанием и проблемой. Эта статья стала результатом моих размышлений на тему публикации открытых данных и я постараюсь кратко ответить как, в каком формате и какие данные необходимо публиковать.

Как публиковать открытые данные?

На этот вопрос в принципе уже есть ответ в виде 10 принципов, но я хотел бы остановится на следующих моментах:

1. Автоматизация работы с данными

Одним из немаловажных моментов публикации открытых данных является возможность автоматизации работы с ними. Поскольку данные постоянно обновляются и дополняются, поэтому потребителям данных нужно постоянно заниматься их поиском, мониторингом и выгрузкой. Это значит, что формы поиска подобные этим не подойдут, поскольку выгрузку и поиск данных очень трудно автоматизировать. Для автоматизированной работы с массивами данных государственным источника информации(сайтам) лучше использовать существующий или создать свой API, например с использованием веб-служб.

2. Описание данных

При публикации массива данных очень важно описать эти данные(как и кем, и когда они были получены, а так же в каком формате публикуются). Это описание очень важно, поскольку дает понять об информационной ценности массива данных, его структуре(формат) и достоверности. Например, как на сайте Бюро юридической статистики правительства США. Их сайт не идеален, но статистические показатели там описаны.

3. Лицензионное соглашение

Немаловажным моментом является указание лицензионного соглашения, которое регламентирует использование этой информации. Существует множество лицензионных соглашений по использованию информации, но я бы рекомендовал использовать лицензионное соглашение Open Database License, которая была специально создана для таких целей.

Учитывая вышесказанное, лучший вариант для публикации данных это конечно специальная платформа или портал открытых данных с удобным API, уведомлением пользователей по RSS, который позволяет автоматизировать работу с массивами данных. Например, бесплатный движок CKAN с открытым исходным кодом, который создан специально для таких целей.

В каком формате публиковать открытые данные?

Поскольку данные, которые будет публиковать Комитет по правовой статистике и специальному учету Генеральной прокуратуры, являются статистическими, то одним из лучших вариантов является специализированный формат под названием SDMX или Statistical Data and Metadata Exchange.

Стандарт SDMX определяет форматы для обмена агрегированных статистических данных и метаданных, необходимых для понимания того, как эти данные структурированы. По сути это XML-формат определенной структуры.

Этот стандарт принят на вооружение крупнейшими мировыми финансовыми и статистическими организациями :

  • Банк международных расчетов (Bank for International Settlements - BIS);
  • Европейский Центральный Банк (European Central Bank - ECB);
  • Статистическое бюро европейского сообщества (Statistical Office of the European Communities - EUROSTAT);
  • Международный валютный фонд (International Monetary Fund - IMF);
  • Организация экономического сотрудничества и развития (Organization for Economic Co-operation and Development - OECD);
  • Статистический департамент ООН (United Nations Statistical Division);
  • Мировой банк (World Bank).

Для более подробной информации можно посетить сайт самой инициативы http://sdmx.org

Ярким примером этой инициативы является сайт Единой межведомственной информационно-статистической системы Российской Федерации.

Однако у стандарта SDMX есть недостатки. Когда вам захочется использовать информацию из нескольких источников или наборов данных, то у вас возникнут определенные трудности с их связыванием для более глобального анализа. Например, будут сложно объединить и связывать информацию о текущей экономической ситуации в стране(данные возможно предоставит Минфин) с информацией об экономических преступлениях(данные предоставит Комитет по правовой статистике).

Одним из решений данной проблемы является использование другого формата под названием RDF и подхода к публикации данных  Linked data или связанные данные. Этот способ позволяет связать разнородные данные в семантическую паутину для последующей машинной обработки этих данных.

Использование же одновременно этих двух форматов для публикации сделает эти данные буквально "бесценным" источником информации.

Какие данные публиковать государственным органам?

Все данные которые собирают, используют и обрабатывают государственные органы очень важны, поскольку их анализ позволит сделать государство более понятным для простых граждан. На мой взгляд есть следующие виды данных, которые могут быть использованы для анализа:

1. Структура государственных органов и его служащие

Не знаю, имеет ли Комитет по правовой статистике право собирать данные о структуре Генеральной прокуратуры вплоть до информации о каждом сотруднике, но эти данные крайне важны, поскольку позволят проанализировать зарплату, количество, состав и возраст государственных служащих, а так же их рабочую нагрузку

2. Бюджет государственных органов

Мониторинг эффективности бюджета государственных органов и национальных программ является одним из важных составляющих контроля общества за деятельностью государства. Например, эта информация может дать возможность построить такой интересный информационный ресурс, как сайт описывающий бюджет Австралии.

3. Данные позволяющие оценить деятельность государственных органов и процессов в обществе

Если говорить о деятельности прокуратуры, то все данные о преступлениях, преступниках, жертвах преступлений важны.

Конечно я понимаю, что таких данных может быть достаточно большое количество и все данные сразу невозможно выложить в открытый доступ. Но нужно с чего-то начинать, и я могу предложить сразу несколько интересных идей по созданию сервисов и приложений на основе открытых данных комитета по правовой статистике.

Социальный портрет преступника

Такой веб-сайт может предоставить информацию о том, кем  является среднестатистический преступник:

  • какие преступления он чаще совершает;
  • сколько ему лет;
  • где он скорее всего проживает;
  • какой среднестатистический срок он отбывает;
  • и т.д.

Подобную информацию можно наблюдать на текущем портале правовой статистики Генеральной прокуратуры РФ. Однако этот сайт имеет ряд недостатков, в том числе и форму поиска открытых данных, с помощью которой крайне тяжело автоматизировать поиск и сбор данных.

Коррупционер

Хищения государственной собственности, взятки и прочие прелести такого явления, как коррупция, являются ржавчиной, которые разъедают саму материю государства, и Республика Казахстан не является исключением. Поэтому тема коррупции является очень актуальной и обсуждаемой в обществе. Буквально в прошлом году Казахстан и Гондурас показали одинаковый уровень коррупции. Борьба с этим явлением должна вестись по всем фронтам, и поэтому очень важно чтобы государство и общество вместе вели непримиримую борьбу с коррупцией, в том числе и на информационном фронте. Посему очень важно чтобы все преступники и преступления связанные с коррупцией максимально освещались в СМИ, ведь страна должна знать своих "героев". Каждый гражданин должен видеть на сколько пагубно коррупция влияет на государство и на каждого из нас, а наказание неотвратимо, и каждый кто совершит подобное преступление будет "висеть" на этой своеобразной доске позора. Информация о таких преступниках и преступлениях, по моему мнению, должна быть как можно более полной с указанием ФИО, должности, сумм и прочих подробностей.  Информационный сервис, который я предлагаю создать, мог бы поведать о следующих фактах:

  • личности преступников поименно с указанием нанесенного ущерба государству;
  • размер средней взятки;
  • размер денежных средств похищенных у государства;
  • география коррупции;
  • социальный портрет коррупционера;
  • основные коррупционные схемы;
  • и т.д.

Суициду.нет

На сегодняшний день среди стран СНГ Казахстан занимает второе место по числу детских самоубийств. Подобный факт не может ни удручать. Для того чтобы эффективно бороться с этим явлением, общество и государство должны работать вместе. Поэтому создание информационного ресурса поднимающего такую тему, на котором оглашена статистика суицидов, по моему мнению, должно дать дополнительный стимул обществу, общественным организациям и государственным органам для борьбы с суицидами в том, числе среди детей.

Демография.кз

Так же не маловажной темой  в дополнение к предыдущему информационному ресурсу, станет сайт, который рассказывает о демографической ситуации в стране. На эту ситуацию влияют как самоубийства, так и убийства.

Обращения граждан

Информация об обращениях граждан в государственные органы и реакция на них со стороны государственных органов могут дать проанализировать проблемы граждан и работу самих государственных органов.

Это лишь малая часть сервисов и информационных ресурсов, которые можно создать, используя открытые данные и сэкономить государству значительную сумму денежных средств, а так же помочь обществу лучше понять государство, и побудит граждан более активно участвовать в общественной жизни.

4. Классификаторы и справочники

Для того чтобы проанализировать публикуемые данные или создавать свои приложения на основе открытых данных важным условием является публикация государственных классификаторов и справочников в машиночитаемом виде.

Для того чтобы определить более полный список данных значимых для населения, которыми обладают государственные органы, я бы предложил устроить конференцию по открытым данным и открытости(онлайн или оффлайн или одновременно), на которую пригласил бы заинтересованные общественные организации, сотрудников государственных органов, IT-специалистов и всех желающих для высказывания своего мнения о том, какие данные и в каком объеме нужно и хотелось бы открыть, а так же о политике открытости государственных органов в Республике Казахстан.

P.S.

А для тех кто все-таки захочет публиковать данные и думает с чего-то начать, то я предлагаю ознакомится с небольшим руководством по открытым данным. Это руководство отвечает на вопросы зачем, как и что — зачем и как «открывать» данные, и что значит открытость.

 
masaniy
19 апреля 2013, 16:29
727

Загрузка...
Loading...

Комментарии

Оставьте свой комментарий

Спасибо за открытие блога в Yvision.kz! Чтобы убедиться в отсутствии спама, все комментарии новых пользователей проходят премодерацию. Соблюдение правил нашей блог-платформы ускорит ваш переход в категорию надежных пользователей, не нуждающихся в премодерации. Обязательно прочтите наши правила по указанной ссылке: Правила

Также можно нажать Ctrl+Enter

Популярные посты

Инструкция для аллергиков. Как бороться с аллергией в период обострения

Инструкция для аллергиков. Как бороться с аллергией в период обострения

Я аллергик с детства. Имею аллергию на пыльцу березы, липы, полыни (выяснил это благодаря кожным пробам), а также пищевую аллергию на горчицу. Свои проблемы знаю, однако это меня не спасло.
Romeo_17
15 авг. 2017 / 17:21
  • 38593
  • 63
СМИ – ассистент провокаторов? Как гости из соседних стран сеют раздор в Казахстане

СМИ – ассистент провокаторов? Как гости из соседних стран сеют раздор в Казахстане

Инцидент с пьяным киргизским гостем на борту Air Astana, наверное, остался бы только во внутренних сводках авиакомпании, если бы г-н Доган, не поднял громкий крик о государственном языке.
openqazaqstan
17 авг. 2017 / 14:43
Алматы предложили сделать центром секс-туризма

Алматы предложили сделать центром секс-туризма

Известный политолог России Андрей Карпов предложил сделать Алматы центром секс-туризма. Но для этого сперва нужно легализовать проституцию в стране.
tala03
13 авг. 2017 / 14:48
Казахский национализм раньше выглядел несовременно. Теперь он другой

Казахский национализм раньше выглядел несовременно. Теперь он другой

Националисты стали совсем другими. По-английски хорошо говорят, русскую классику цитируют. Очень современные, образованные, адекватные. А после Крыма в националисты уже чуть ли не любой казах готов был записаться.
Aidan_Karibzhanov
16 авг. 2017 / 16:52
«Доехать до Алтын Орды» – как мошенники обманывают алматинцев

«Доехать до Алтын Орды» – как мошенники обманывают алматинцев

Из множества грустных откровений постепенно сложился перечень самых распространённых уловок охотников за нашими деньгами. В нём ожидаемо лидировали профессиональные попрошайки.
caravan_kz
16 авг. 2017 / 15:05
  • 1905
  • 2
В Кокшетау строят два парка для молодёжи. Будут учтены интересы и любителей спорта

В Кокшетау строят два парка для молодёжи. Будут учтены интересы и любителей спорта

Общая площадь парка составляет 25 гектаров. На территории предусмотрено устройство прогулочных дорожек, площадок для установки аттракционов и павильонов различного назначения, цветников.
zhasakmola
17 авг. 2017 / 17:13
  • 1729
  • 1
Недоразумение с грантами в ВУЗы: «медалисты» до сих пор имеют преимущество

Недоразумение с грантами в ВУЗы: «медалисты» до сих пор имеют преимущество

Многие способные выпускники без Алтын Белги готовились к тестированию, чтобы в честной борьбе попытать счастья на гранты без ущемления со стороны якобы "золотых" выпускников.
DanaJarlygapova
14 авг. 2017 / 14:35
Имеющий уши да услышит. Латиница касается только казахского языка

Имеющий уши да услышит. Латиница касается только казахского языка

Президент Назарбаев наконец-то разъяснил для всех, кто ещё не понял, очевидный вопрос, который всем в Казахстане очевиден. Елбасы повторил: на латиницу мы переводим казахский язык, и это не означает отказ от русского языка.
openqazaqstan
вчера / 16:23
  • 1567
  • 36
На EXPO через Балхаш и Боровое своим ходом

На EXPO через Балхаш и Боровое своим ходом

Мы объехали по кругу озеро Иссык-Куль, о чем повествует предыдущий пост, и вернувшись из поездки подумали, а почему бы нам не рвануть на наше озеро, не менее прекрасное?
yelenasergiyenko
13 авг. 2017 / 13:13
  • 1426
  • 6