eng
Использование больших данных – один из приоритетных путей развития информационных технологий. Сегодня отдельные компании и государственные организации уже внедрили, другие заканчивают, а основная часть – планирует внедрение различных систем обработки больших данных. В этих условиях все большую важность приобретает организация сопровождения таких систем. В статье изложен используемый на практике подход, основанный на общеизвестной, повсеместно применяемой в ИТ методологии ITSM, который учитывает особенности обработки больших данных.
Теги: big data processing systems maintenance itsm knowledge management сопровождение системы обработки больших данных управление знаниями
Особенности обработки больших данных
Особенности обработки больших данных следуют из комплексного рассмотрения понятий данных, больших данных и процесса их обработки. Статья содержит такое комплексное рассмотрение в ракурсе, необходимом для организации сопровождения систем обработки больших данных.
Под данными принято понимать информацию, представленную в формализованном виде и предназначенную для обработки ее техническими средствами, например ЭВМ.
Большие данные представляют собой совокупность сведений об определенной области реального мира. В то же время, у нас уже есть знания об этой области. Эти знания позволяют из описания, содержащегося в больших данных, сформировать модель этой области реального мира, необходимую для ее дальнейшего исследования. С прагматической точки зрения, эта модель должна быть полезна, например, для бизнеса компании или деятельности государственной организации. Такая модель, например, может быть представлена в виде совокупности объектов различных типов, как физических – человек, здание, оборудование и тому подобное, так и логических – общественная организация, факт мошенничества, факт выступления с речью. Каждый объект характеризуется набором физических, логических, временных признаков и свойств, в том числе и взаимосвязей с другими объектами.
Обработка больших данных заключается в формировании из них модели определенной области реального мира и последующего моделирования этой области с использованием знаний о ней. Результатом построения модели и проведения моделирования становятся новые знания об исследуемой области реального мира. С точки зрения информационных технологий, эти новые знания становятся новой информацией, то есть они содержатся в новых данных, полученных в результате обработки больших данных.
Для построения модели определенной области и проведения моделирования с использованием больших данных необходимы знания не только об этой области, но и о характеристиках больших данных, содержащих описание этой области, и о применимых к этой области методах и технологиях обработки больших данных.
Основными характеристиками больших данных принято считать:
объем больших данных,
скорость прироста объема больших данных;
скорость обработки больших данных и получения соответствующих результатов;
многообразие различных типов структурированных и полуструктурированных данных и возможность их совместной одновременной обработки.
Рассматривая обработку больших данных с точки зрения системного анализа, можно выделить следующие ее основные особенности:
она требует интеграции системы обработки больших данных с другими ИТ-системами, источниками этих данных. Это необходимо для корректной обработки и получения корректных результатов в условиях устаревания исходных данных;
она базируется на управлении знаниями. Управление знаниями об определенной области реального мира и системе обработки больших данных требует реализации соответствующего процесса и использования специалистов как по моделированию этой области, так и по системе обработки больших данных;
в результате обработки повышается ценность информации по сравнению с ценностью исходных данных Повышение ценности информации – одно из необходимых условий внедрения и применения систем обработки таких данных. Ценность информации в данном случае рассматривается с точки зрения ее важности для бизнеса или деятельности организации. Очевидно увеличение ценности информации, получаемой в таких областях. как разведка и безопасность. Поэтому для использования именно в этих областях в настоящее время создается наибольшее количество систем обработки больших данных;
количество потребителей информации, получаемой в результате обработки больших данных, значительно меньше количества пользователей самих больших данных. В результате обработки больших данных происходит повышение ценности информации, ее конфиденциальности, существенное ограничение количества потребителей и пользователей системы обработки больших данных.
Представленные выше основные особенности определяют специфику сопровождения систем обработки больших данных.
Сопровождение систем обработки больших данных
Сопровождение системы обработки больших данных организуется на основе использования методологии ITSM (IT Service Management, управление ИТ-услугами). При этом сама система обработки больших данных рассматривается как еще одна ИТ-услуга, предоставляемая ИТ-подразделениями коммерческой компании или государственной организации.
Концептуальная схема организации сопровождения системы обработки больших данных на основе ITSM представлена на рис.1. Для сопровождения системы обработки больших данных организуется специальная служба.
В силу первой особенности обработки больших данных сотрудники этой службы, как показано на рис.1, взаимодействуют со службами сопровождения различных ИТ-систем и ИТ-инфраструктуры. Взаимодействие осуществляется в рамках следующих процессов ITSM:
управление инцидентами;
управление запросами на обслуживание;
управление изменениями;
управление уровнями ИТ-услуг.
В силу второй особенности сотрудниками службы сопровождения системы обработки больших данных реализуется процесс управления знаниями об определенной области реального мира, описание которой содержится в больших данных, и о конкретных алгоритмах обработки больших данных.
Процесс управления знаниями реализуется во взаимодействии с другими процессами ITSM, как показано на рис.2. Для реализации соответствующего процесса, в составе службы сопровождения системы обработки больших данных используются как специалисты по различным вопросам определенной области, описание которой содержится в больших данных, так и специалисты по системе обработки этих данных. Как правило, специалисты по определенной области реального мира включаются в состав группы сопровождения пользователей (см. рис.1), а специалисты по системе обработки больших данных – в состав группы сопровождения системы.
В силу третьей особенности, а именно, повышения ценности информации, получаемой в результате обработки больших данных, повышается ее конфиденциальность и появляется необходимость защиты не только этой информации, но и алгоритмов и промежуточных результатов ее обработки. Основное средство для такой защиты – ограничение доступа сотрудников службы сопровождения к знаниям (алгоритмам обработки больших данных), и в первую очередь – к получаемым результатам обработки больших данных. То есть сотрудникам службы сопровождения системы обработки больших данных предоставляется доступ только к той информации, которая необходима для выполнения должностных обязанностей. Для ограничения доступа может также использоваться отдельная служба Service Desk, обслуживающая только пользователей системы обработки больших данных, и отдельная система автоматизации для сопровождения системы обработки больших данных, которая обеспечивает реализацию соответствующих процессов ITSM.
Четвертая особенность обработки больших данных влияет на количество сотрудников службы сопровождения системы обработки и на модель сорсинга соответствующей ИТ-услуги. Количество сотрудников, необходимых для сопровождения системы обработки, рассчитывается по тем же методикам, что и количество сотрудников поддержки ИТ-систем, например ERP-систем (Enterprise Resource Planning, планирование ресурсов предприятия). Однако в силу сложности систем обработки больших данных и действия третьей особенности, в состав службы сопровождения должны входить квалифицированные, но узкоспециализированные сотрудники. Эти эксперты должны обеспечивать сопровождение всего функционала системы обработки больших данных, но в силу узкой специализации их реальное количество может в пять раз превышать рассчитанное по соответствующим методикам. Как следствие, они не будут полностью загружены работой. Содержание такого количества сотрудников в штате коммерческой компании или государственной организации экономически невыгодно. Как правило, сопровождение самой системы обработки больших данных (на рис.1 это группа поддержки системы на третьей линии поддержки) передается на аутсорсинг внешней компании, имеющей в своем штате соответствующих квалифицированных специалистов.
Сопровождение системы обработки больших данных осуществляется соответствующей службой, в состав которой должны входить как специалисты по той области реального мира, описание которой содержится в больших данных, так и специалисты по системе их обработки. Сотрудники этой службы взаимодействуют в рамках соответствующих процессов ITSM с сотрудниками сопровождения других ИТ-систем и поддержки ИТ-инфраструктуры. Доступ сотрудников службы к результатам обработки больших данных должен быть ограничен. Ограничение доступа позволяет часть работ по сопровождению системы обработки больших данных передать на аутсорсинг. Передача на аутсорсинг работ, выполняемых квалифицированными, но узкоспециализированными специалистами, в большинстве случаев необходима для обеспечения рентабельности сопровождения системы обработки больших данных. ▪
Особенности обработки больших данных следуют из комплексного рассмотрения понятий данных, больших данных и процесса их обработки. Статья содержит такое комплексное рассмотрение в ракурсе, необходимом для организации сопровождения систем обработки больших данных.
Под данными принято понимать информацию, представленную в формализованном виде и предназначенную для обработки ее техническими средствами, например ЭВМ.
Большие данные представляют собой совокупность сведений об определенной области реального мира. В то же время, у нас уже есть знания об этой области. Эти знания позволяют из описания, содержащегося в больших данных, сформировать модель этой области реального мира, необходимую для ее дальнейшего исследования. С прагматической точки зрения, эта модель должна быть полезна, например, для бизнеса компании или деятельности государственной организации. Такая модель, например, может быть представлена в виде совокупности объектов различных типов, как физических – человек, здание, оборудование и тому подобное, так и логических – общественная организация, факт мошенничества, факт выступления с речью. Каждый объект характеризуется набором физических, логических, временных признаков и свойств, в том числе и взаимосвязей с другими объектами.
Обработка больших данных заключается в формировании из них модели определенной области реального мира и последующего моделирования этой области с использованием знаний о ней. Результатом построения модели и проведения моделирования становятся новые знания об исследуемой области реального мира. С точки зрения информационных технологий, эти новые знания становятся новой информацией, то есть они содержатся в новых данных, полученных в результате обработки больших данных.
Для построения модели определенной области и проведения моделирования с использованием больших данных необходимы знания не только об этой области, но и о характеристиках больших данных, содержащих описание этой области, и о применимых к этой области методах и технологиях обработки больших данных.
Основными характеристиками больших данных принято считать:
объем больших данных,
скорость прироста объема больших данных;
скорость обработки больших данных и получения соответствующих результатов;
многообразие различных типов структурированных и полуструктурированных данных и возможность их совместной одновременной обработки.
Рассматривая обработку больших данных с точки зрения системного анализа, можно выделить следующие ее основные особенности:
она требует интеграции системы обработки больших данных с другими ИТ-системами, источниками этих данных. Это необходимо для корректной обработки и получения корректных результатов в условиях устаревания исходных данных;
она базируется на управлении знаниями. Управление знаниями об определенной области реального мира и системе обработки больших данных требует реализации соответствующего процесса и использования специалистов как по моделированию этой области, так и по системе обработки больших данных;
в результате обработки повышается ценность информации по сравнению с ценностью исходных данных Повышение ценности информации – одно из необходимых условий внедрения и применения систем обработки таких данных. Ценность информации в данном случае рассматривается с точки зрения ее важности для бизнеса или деятельности организации. Очевидно увеличение ценности информации, получаемой в таких областях. как разведка и безопасность. Поэтому для использования именно в этих областях в настоящее время создается наибольшее количество систем обработки больших данных;
количество потребителей информации, получаемой в результате обработки больших данных, значительно меньше количества пользователей самих больших данных. В результате обработки больших данных происходит повышение ценности информации, ее конфиденциальности, существенное ограничение количества потребителей и пользователей системы обработки больших данных.
Представленные выше основные особенности определяют специфику сопровождения систем обработки больших данных.
Сопровождение систем обработки больших данных
Сопровождение системы обработки больших данных организуется на основе использования методологии ITSM (IT Service Management, управление ИТ-услугами). При этом сама система обработки больших данных рассматривается как еще одна ИТ-услуга, предоставляемая ИТ-подразделениями коммерческой компании или государственной организации.
Концептуальная схема организации сопровождения системы обработки больших данных на основе ITSM представлена на рис.1. Для сопровождения системы обработки больших данных организуется специальная служба.
В силу первой особенности обработки больших данных сотрудники этой службы, как показано на рис.1, взаимодействуют со службами сопровождения различных ИТ-систем и ИТ-инфраструктуры. Взаимодействие осуществляется в рамках следующих процессов ITSM:
управление инцидентами;
управление запросами на обслуживание;
управление изменениями;
управление уровнями ИТ-услуг.
В силу второй особенности сотрудниками службы сопровождения системы обработки больших данных реализуется процесс управления знаниями об определенной области реального мира, описание которой содержится в больших данных, и о конкретных алгоритмах обработки больших данных.
Процесс управления знаниями реализуется во взаимодействии с другими процессами ITSM, как показано на рис.2. Для реализации соответствующего процесса, в составе службы сопровождения системы обработки больших данных используются как специалисты по различным вопросам определенной области, описание которой содержится в больших данных, так и специалисты по системе обработки этих данных. Как правило, специалисты по определенной области реального мира включаются в состав группы сопровождения пользователей (см. рис.1), а специалисты по системе обработки больших данных – в состав группы сопровождения системы.
В силу третьей особенности, а именно, повышения ценности информации, получаемой в результате обработки больших данных, повышается ее конфиденциальность и появляется необходимость защиты не только этой информации, но и алгоритмов и промежуточных результатов ее обработки. Основное средство для такой защиты – ограничение доступа сотрудников службы сопровождения к знаниям (алгоритмам обработки больших данных), и в первую очередь – к получаемым результатам обработки больших данных. То есть сотрудникам службы сопровождения системы обработки больших данных предоставляется доступ только к той информации, которая необходима для выполнения должностных обязанностей. Для ограничения доступа может также использоваться отдельная служба Service Desk, обслуживающая только пользователей системы обработки больших данных, и отдельная система автоматизации для сопровождения системы обработки больших данных, которая обеспечивает реализацию соответствующих процессов ITSM.
Четвертая особенность обработки больших данных влияет на количество сотрудников службы сопровождения системы обработки и на модель сорсинга соответствующей ИТ-услуги. Количество сотрудников, необходимых для сопровождения системы обработки, рассчитывается по тем же методикам, что и количество сотрудников поддержки ИТ-систем, например ERP-систем (Enterprise Resource Planning, планирование ресурсов предприятия). Однако в силу сложности систем обработки больших данных и действия третьей особенности, в состав службы сопровождения должны входить квалифицированные, но узкоспециализированные сотрудники. Эти эксперты должны обеспечивать сопровождение всего функционала системы обработки больших данных, но в силу узкой специализации их реальное количество может в пять раз превышать рассчитанное по соответствующим методикам. Как следствие, они не будут полностью загружены работой. Содержание такого количества сотрудников в штате коммерческой компании или государственной организации экономически невыгодно. Как правило, сопровождение самой системы обработки больших данных (на рис.1 это группа поддержки системы на третьей линии поддержки) передается на аутсорсинг внешней компании, имеющей в своем штате соответствующих квалифицированных специалистов.
Сопровождение системы обработки больших данных осуществляется соответствующей службой, в состав которой должны входить как специалисты по той области реального мира, описание которой содержится в больших данных, так и специалисты по системе их обработки. Сотрудники этой службы взаимодействуют в рамках соответствующих процессов ITSM с сотрудниками сопровождения других ИТ-систем и поддержки ИТ-инфраструктуры. Доступ сотрудников службы к результатам обработки больших данных должен быть ограничен. Ограничение доступа позволяет часть работ по сопровождению системы обработки больших данных передать на аутсорсинг. Передача на аутсорсинг работ, выполняемых квалифицированными, но узкоспециализированными специалистами, в большинстве случаев необходима для обеспечения рентабельности сопровождения системы обработки больших данных. ▪
Отзывы читателей
