что включено в технологию сбора
Что включено в технологию сбора
Сбор предполагает получение максимально выверенной исходной информации и является одним из самых ответственных этапов в работе с информацией, поскольку от цели сбора и методов последующей обработки полностью зависит конечный результат работы всей информационной системы.
Технология сбора подразумевает использование определенных методов сбора информации и технических средств, выбираемых в зависимости от вида информации и применяемых методов ее сбора. На заключительном этапе сбора, когда информация преобразуется в данные, т. е. в информацию, представленную в формализованном виде, пригодном для компьютерной обработки, осуществляется ее ввод в систему.
Передача информации — заблаговременно организованное техническое мероприятие, результатом которого становится воспроизведение информации, имеющейся в одном месте, условно называемом «источником информации», в другом месте, условно называемом «приёмником информации». Данное мероприятие предполагает предсказуемый срок получения указанного результата («информация» здесь понимается в техническом аспекте, как осмысленное множество символов, чисел, параметров абстрактных или физических объектов, без достаточного «объёма» которого не могут быть решены задачи управления, выживания, развлечения, совершения преступлений или денежных операций).
Обработка данных (англ. «Data processing») – это процесс последовательного управления данными (числа и символы) и преобразования их в информацию.
Технологии сбора, хранения, обработки, передачи и представления информации
Лекция №2
В общем виде технологию сбора, хранения, обработки передачи и представления информации можно представить следующим образом (рис. 2.1).
Сборпредполагает получение максимально выверенной исходной информации и является одним из самых ответственных этапов в работе с информацией, поскольку от цели сбора и методов последующей обработки полностью зависит конечный результат работы всей информационной системы.
Технология сбора подразумевает использование определенных методов сбора информации и технических средств, выбираемых в зависимости от вида информации и применяемых методов ее сбора. На заключительном этапе сбора, когда информация преобразуется в данные, т. е. в информацию, представленную в формализованном виде, пригодном для компьютерной обработки, осуществляется ее ввод в систему.
Когда сбор информации завершен, собранные данные сводятся в систему для создания, хранения и поддержания в актуальном состоянии информационного фонда, необходимого для выполнения различных задач в деятельности объекта управления. Сбор данных должен обеспечивать необходимую полноту и минимальную избыточность хранимой информации, что может быть достигнуто за счет выбора данных, оценки их необходимости, а также анализа существующих данных и разделения их на входные, промежуточные и выходные.
Для сбора данных необходимо сначала определить технические средства, позволяющие осуществлять сбор быстро и высококачественно и поддерживающие операции ввода информации и представления данных в электронной форме. В качестве средств сбора в информационных системах обычно выступают агрегаты, представляющие собой совокупность устройств и программного обеспечения к ним, которые служат для преобразования информации, представленной в неэлектронной форме, в электронную для ее последующего использования в системе.
Так, для различных этапов сбора текстовой и графической информации, а также для выбора из предлагаемых системой вариантов обычно применяются такие средства, как клавиатура, различные манипуляторы («мышь», шаровой джойстик, световое перо и т. д.), сканер, планшет, сенсорный экран, монитор.
Для сбора звуковой информации чаще всего используются диктофон и микрофон, в некоторых случаях применяются звуковые датчики и аппаратура распознавания речи, а также средства записи эфира радиостанций.
Сбор видеоинформации осуществляется с помощью видеокамер и фотоаппаратов; кроме того, существуют средства, позволяющие записывать сигналы телевизионного вещания.
В промышленных системах в зависимости от сферы применения часто используются также технические средства для сканирования штрих-кода, захвата изображений, автоматические датчики объема, давления, температуры, влажности, системы распознавания сигналов и кодов и т. д.
В целом применение подобных промышленных средств сбора информации называют технологией автоматической идентификации, т. е. идентификацией и/или прямым сбором данных в микропроцессорное устройство (компьютер или программируемый контроллер) без использования клавиатуры.
Автоматическая идентификация объединяет пять групп технологий, обеспечивающих решение проблемы сбора разнообразных данных:
1. Технологии штрихового кодирования (Bar Code Technologies).
2. Технологии радиочастотной идентификации (RF1D — Radio Frequency Identification Technologies).
3. Карточные технологии (Card Technologies).
4. Технологии сбора данных (Data Communications Technologies).
5. Новые технологии, такие, как распознавание голоса, оптическое и магнитное распознавание текста, биометрические технологии и некоторые другие.
При первоначальной разработке технологии сбора данных после выбора технических средств необходимо продумать план сбора данных, который обычно включает несколько этапов, особенно характерных для исследовательских проектов:
• определение проблемной ситуации и формулирование цели сбора данных;
• детальное изучение предметной области с помощью опроса экспертов, изучения литературы и групповых дискуссий и уточнение задач сбора данных;
• разработка концепции сбора данных на основании выработки гипотез, их практической проверки, выявления причинно-следственных связей;
• детальное планирование сбора данных, определение источников информации (вторичные данные, уже собранные кем-то до проекта, или первичные, новые данные);
• отбор источников информации и сбор вторичных данных;
• оценка полученных вторичных данных (актуальность, точность, полнота, пригодность для дальнейшей обработки);
• планирование сбора первичных данных, выбор способа сбора;
• проведение сбора и ввода первичной информации;
• анализ полученных данных;
• представление результатов сбора данных, передача их на хранение и в обработку.
В зависимости от целей, сферы деятельности и располагаемых технических средств можно выделить целый спектр методов сбора данных:
1) в экономических информационных системах (например, маркетинга):
• опрос и интервью — групповой, индивидуальный или телефонный опрос, опрос в форме анкетирования, формализованные и неформализованные интервью;
• регистрация (наблюдение) — систематическое, планомерное изучение поведения того или иного объекта или субъекта;
• эксперимент — исследование влияния одного фактора на другой при одновременном контроле посторонних факторов;
• итерационная регистрация — повторяющийся сбор данных у одной группы опрашиваемых через равные промежутки времени;
• экспертная оценка — оценка исследуемых процессов квалифицированными специалистами-экспертами;
2) в геоинформационных системах:
• сбор информации из нормативной и методической документации;
• сбор пространственных (координатных и атрибутивных) данных;
• мониторинг потоков данных, поступающих с научно-исследовательских воздушных и морских судов, береговых станций и буев в оперативном и задержанном режиме;
• сбор данных, поступающих по каналам удаленного доступа к данным;
3) в статистических информационных системах:
• сбор данных с первичных документов;
• заполнение собственных форм и шаблонов при сборе данных;
• сбор данных из подотчетных организаций с помощью заполнения ими предписанных форм отчетности;
4) в информационных системах управления производственными процессами широко применяются методы сбора данных, основанные на технологии автоматической идентификации.
Собранная информация, переведенная в электронную форму, подлежит правильному хранению и требует обеспечения к ней доступа.
Процедура хранения информации заключается в формировании и поддержке структуры хранения данных в памяти ЭВМ.
Универсальной методики построения системы хранения данных на сегодняшний день не существует. Можно сформулировать только основные требования, предъявляемые к структурам хранения:
• независимость от программ, использующих хранимые данные;
• обеспечение полноты и минимальной избыточности данных;
• возможность актуализации данных (т. е. пополнения или изменения значений данных, записанных в базе);
• возможность извлечения данных, а также сортировки и поиска по заданным критериям.
Наиболее часто в роли структур хранения данных выступают базы или банки данных [19, 23, 24].
База данных (БД) — специально организованная совокупность взаимосвязанных данных, отражающих состояние выделенной предметной области в реальной действительности и предназначенной для совместного использования при решении задач многими пользователями.
БД представляет собой комплекс информационных, технических, программных, лингвистических и организационных средств, обеспечивающих сбор, хранение, поиск и обработку данных.
Банк данных — универсальная база данных, обслуживающая любые запросы прикладных программ вместе с соответствующим программным обеспечением.
Для обеспечения доступа к базе данных, составления обобщенных и детализированных отчетов, выполнения анализа данных с помощью запросов используются системы управления базами данных (СУБД). Среди наиболее ярких можно отметить: Lotus Approach, Microsoft Access, Borland dBase, Borland Paradox, Microsoft Visual FoxPro, а также базы данных Microsoft SQL Server и Oracle, используемые в приложениях, построенных по технологии «клиент—сервер».
Кроме баз и банков данных, современную структуру хранения информации предоставляют хранилища данных.
Хранилище данных– это
Хранилище данных включает в себя следующие функциональные блоки:
• инструменты настройки информационной модели, отражающей все виды информации, необходимой для решения задач предприятия;
• репозиторий метаданных, т. е. описание структуры хранилища данных, доступное как внутренним программам хранилища, так и внешним системам, обеспечивающее гибкость хранилища;
• технология сбора данных из внешних источников, а также из удаленных подразделений с помощью двух методов:
— применение средств ETL (Extract, Transformation, Loa-din — извлечение, трансформация, загрузка), присущих специальным системам, для извлечения данных из других баз данных, трансформации в соответствии с правилами, описанными в системе, и загрузки в хранилище данных;
— применение стандартного формата сбора данных и разработка процедур их выгрузки на стороне источника, что обеспечивает однородность данных, извлеченных из разных систем, и децентрализацию разработки за счет передачи ее специалистам, знающим исходную систему;
• механизмы расчета агрегатов и показателей, базирующихся на детальных данных хранилища, с помощью технологий иерархической настройки структуры данных или показателей, а также встроенного языка программирования;
• пользовательские интерфейсы, позволяющие коллективу сотрудников разделять функции и выполнять различные задачи, включая администрирование, дизайн приложений, технологическую поддержку хранилища, анализ данных по запросам и т. д.;
• механизмы выполнения произвольных запросов, включая средства генерации запросов и необходимых индексов;
• инструменты настройки и выпуска отчетов как конечных продуктов хранилища данных, в том числе отчетов регламентированной формы, аналитических и настраиваемых пользователем.
Следует отметить, что немаловажным требованием к любой системе хранения данных является обеспечение резервного копирования, архивирования, структурированного хранения и восстановления данных в требуемые сроки.
Резервное копирование — это создание копий файлов для быстрого восстановления работоспособности системы при возникновении аварийной ситуации. Копии файлов хранятся на резервных носителях в течение определенного времени, а затем перезаписываются.
Различают полное, инкрементальное и дифференциальное резервное копирование.
Полное резервное копирование предполагает создание копий всех данных, подлежащих резервному копированию, что позволяет в случае аварийной ситуации быстро восстановить информацию; однако такое копирование занимает довольно продолжительное время.
Дифференциальное резервное копирование предполагает дублирование только тех файлов, которые были созданы или изменены с момента проведения предыдущего сеанса полного копирования. При возникновении аварийной ситуации для восстановления данных потребуются последняя полная и дифференциальная копии.
Инкрементальное резервное копирование предполагает создание копий только тех файлов, которые были созданы или изменены с момента последнего полного, дифференциального или инкрементального копирования. Такое копирование осуществляется довольно быстро, однако при возникновении аварийной ситуации для восстановления данных потребуется последняя полная и все последующие инкрементальные копии, а процедура восстановления будет очень длительной.
Учитывая достоинства и недостатки существующих методов резервного копирования, на практике параллельно применяют полное копирование (например, 1 раз в неделю) и инкрементальное (например, 1 раз в день).
Архивное копирование есть процесс копирования файлов для бессрочного или долговременного хранения на архивных носителях. Архивное копирование также может быть полным, инкрементальным и дифференциальным, однако оно осуществляется реже резервного копирования.
Технологический процесс обработки информации базируется на нескольких типах технологий обработки данных, которые используются специалистами в самых различных областях деятельности. Среди них выделяют следующие:
2. Базовая информационная технология — это совокупность аппаратных и программных средств, предназначенных для организации процесса преобразования данных (информации, знаний), их связи и передачи.
Базовая информационная технология делится на:
— обеспечивающие информационные технологии — технологии обработки информации, которые могут использоваться как инструментарий в различных предметных областях для решения различных задач;
— функциональные информационные технологии — такая модификация обеспечивающих информационных технологий, при которой реализуется какая-либо из предметных технологий. Функциональная информационная технология образует готовый программный продукт или его часть, предназначенный для автоматизации задач в определенной предметной области и заданной технической среде.
Преобразование обеспечивающей информационной технологии в функциональную может быть выполнено не только специалистом-разработчиком систем, но и самим пользователем. Это зависит от квалификации пользователя и от сложности необходимой модификации. Корректная реализация предметной технологии зависит от рациональной организации технологического процесса обработки информации.
Технологический процесс обработки информации — есть строго определенная последовательность взаимосвязанных процедур, выполняемых для преобразования первичной информации с момента ее возникновения до получения требуемого результата.
Технологический процесс призван автоматизировать обработку исходной информации за счет привлечения технических средств базовой информационной технологии, сократить финансовые и трудовые затраты, обеспечить высокую степень достоверности результатной информации. Для конкретной задачи той или иной предметной области технологический процесс обработки информации разрабатывается индивидуально.
Совокупность процедур зависит от следующих факторов:
• характер и сложность решаемой задачи;
• алгоритм преобразования информации;
• используемые технические средства;
• сроки обработки данных;
• используемые системы контроля;
• число пользователей и т. д.
В любой предметной области в технологическом процессе обработки информации можно выделить три основных этапа.
Первый этап начинается со сбора первичных документов из различных источников и подготовки их к автоматизированной обработке.
На этом этапе производятся анализ представленных для обработки документов, систематизация имеющейся информации, составление и уточнение контрольных сведений, которые в дальнейшем будут использованы для проверки корректности введенных данных.
Второй этап является основным и включает ввод, обработку информации по заданному алгоритму, а также вывод результатных документов.
На этом этапе осуществляется ручной или автоматизированный ввод информации с первичных документов, контроль корректности и полноты результатов ввода. Информация с первичных документов переносится в информационную базу либо в электронную форму документа и таким образом преобразуется в данные. Далее следует обработка данных на основании алгоритма решения поставленной задачи, их преобразование в выходные данные, формирование и печать результатных документов.
На заключительном третьем этапе технологического процесса обработки информации производится контроль качества и полноты результатных документов, их тиражирование и передача заинтересованным лицам по различным каналам связи в электронном виде или на бумажных носителях.
Способы обработки информации:
Централизованный способ предполагает сосредоточение данных в информационно-вычислительном центре, выполняющем все основные действия технологического процесса обработки информации. Основное достоинство централизованного способа — сравнительная дешевизна обработки больших объемов информации за счет повышения загрузки вычислительных средств.
Децентрализованный способ характеризуется рассредоточением информационно-вычислительных ресурсов и распределением технологического процесса обработки информации по местам возникновения и потребления информации. Достоинством децентрализованного способа является повышение оперативности обработки информации и решения поставленных задач за счет автоматизации деятельности на конкретных рабочих местах, применения надежных средств передачи информации, организации сбора первичных документов и ввода исходных данных в местах их возникновения.
Зачастую на практике применяют смешанный способ обработки информации, для которого характерны признаки двух способов одновременно (централизованный с частичной децентрализацией или децентрализованный с частичной централизацией). В этом случае за основу принимают один из способов, используя при этом преимущества другого, за счет этого достигается высокая эффективность работы информационно-вычислительных средств, экономия материальных и трудовых ресурсов.
Вычислительные средства участвуют в процессе обработки информации в двух основных режимах: пакетном или диалоговом.
В случае, когда технология обработки информации на компьютере представляет собой заранее определенную последовательность операций, не требующую вмешательства человека, и диалог с пользователем отсутствует, информация обрабатывается в так называемом пакетном режиме. Суть его состоит в том, что программы обработки данных последовательно выполняются под управлением операционной системы как совокупность (пакет) заданий. Операционная система обеспечивает ввод данных, вызов требуемых программ, включение необходимых внешних устройств, координацию и управление технологическим процессом обработки информации.
Сегодня более распространен диалоговый режим, когда необходимо непосредственное взаимодействие пользователя с компьютером и на каждое свое действие пользователь получает немедленные ответные действия компьютера. Диалоговый режим позволяет пользователю интерактивно управлять порядком обработки информации и получать результатные данные в виде необходимых документов либо файлов.
Передача информации в любом виде осуществляется через канал передачи, который определяется таким параметром как емкость канала.
Воспроизведение информации — это процесс, при котором ранее записанная на носителе информация считывается устройством воспроизведения.
Отображение информации — есть представление информации, т. е. генерация сигналов на основе исходных данных, а также правил и алгоритмов их преобразования в форме, приемлемой для непосредственного восприятия человеком.
Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет
Сбор данных там, где начинается аналитика
Понимание информации начинается со сбора данных. Технологии Intel® поддерживают инновационные методы сбора данных на периферии.
Выводы в отношении сбора данных:
Сбор и обработка данных — первый шаг конвейера данных для поддержки бизнес-аналитики, исследований, разработки и принятия решений.
Методы сбора данных быстро развиваются, растет разнообразие устройств интернета вещей, генерирующих данные на периферии, и аналитикам приходится работать с постоянно растущими базами данных, которые обрабатываются высокопроизводительными вычислительными системами.
Корпорация Intel предлагает передовые технологии для уровней процессора, сети и хранения, обеспечивающие быстрый сбор данных и их доступность на периферии, в облаке и ЦОД.
Сбор данных — первый шаг к аналитике. По мере развития периферийных технологий и Интернета вещей все больше разнообразных устройств используются для сбора все большего количества типов данных. Технологии Intel® работают, помогая упростить и ускорить процесс сбора данных из многочисленных источников и их сохранения в центре облака.
Сбор данных — первый шаг к аналитике. По мере развития периферийных технологий и Интернета вещей все больше разнообразных устройств используются для сбора все большего количества типов данных. Технологии Intel® работают, помогая упростить и ускорить процесс сбора данных из многочисленных источников и их сохранения в центре облака.
Что такое сбор данных?
Сбор данных или обработка данных — это первый шаг в конвейере данных, предусматривающий сбор информации из разнообразных источников. Цель сбора данных — предоставить необходимую информацию для бизнес-аналитики, исследований и принятия решений. Во многих случаях решения на основе данных могут приниматься в месте генерирования данных. Например, на умном производстве компьютерное зрение с ИИ может использоваться для контроля качества готовой продукции на производственной линии. В других случаях анализ может занимать намного больше времени и включать обработку нескольких петабайт данных, например, в таких сложных вычислительных задачах как геномное секвенирование. По мере развития интернета вещей, периферийных технологий и технологий ЦОД, методы и решения сбора данных становятся все более разнообразными.
Структурированные и неструктурированные данные
Существует два основных типа данных: структурированные и неструктурированные. Некоторые эксперты также используют термин полуструктурированные в отношении данных, имеющих характеристики обоих первых типов.
И структурированные, и неструктурированные данные могут собираться с метаданными, то есть с данными о самих этих данных. Например, цифровые камеры собирают метаданные о дате и времени съемки и оборудовании камеры, и эти метаданные включаются в файл цифровой фотографии.
Источники и способы сбора данных
Сбор данных описывает один из двух процессов: аналитики могут собирать и курировать информацию в базах данных и переносить ее в ЦОД или облачную среду для обработки; в то время как датчики интернета вещей, камеры и другие устройства могут собирать данные на периферии. Во многих случаях при работе с периферийным Интернетом вещей эти данные обрабатываются практически в реальном времени на периферийных серверах, что позволяет использовать их для автоматизированного обнаружения дефектов на умных заводах, интеллектуального управления трафиком в умных городах и т. п. Данные, собираемые на периферии, также можно перемещать в облако для дальнейшей обработки и анализа.
Источники и способы сбора данных стали более диверсифицированными и теперь включают:
Современная стратегия сбора данных может включать широкий спектр таких методик и источников.
Устройства сбора данных на периферии
Технологические требования стратегии сбора данных зависят от того, где генерируются данные и чего организация хочет добиться с помощью этих данных. Существует два важных преимущества обработки данных в том месте, где они собираются или генерируются. Первое преимущество заключается в том, что рабочие нагрузки не нужно перемещать в облако, так что организации могут сэкономить за счет более низких требований к сетевой инфраструктуре. Второе преимущество заключается в том, что обработка данных в месте их генерирования обеспечивает аналитику практически в реальном времени.
Устройства интернета вещей могут воспользоваться преимуществами процессоров машинного зрения Intel Atom® или Intel® Movidius™ Myriad™ X для обеспечения необходимой производительности для аудио-визуальных или сенсорных потоков на периферии. В зависимости от сценария использования, эти процессоры также хорошо подойдут для использования в небольших корпусах или даже на открытом воздухе. В случае периферийных рабочих нагрузок с большими объемами данных, таких как логическая обработка данных ИИ на нескольких видеопотоках, устройства ИИ и периферийные серверы с процессорами Intel® Core™ 11-го поколения или масштабируемыми процессорами Intel® Xeon® 3-го поколения обеспечивают более высокую пропускную способность данных, чем сами по себе периферийные серверы. Эти серверы также открывают более широкие возможности связи с разъемами расширения PCIe, благодаря чему системные интеграторы могут добавить дополнительные ускорители для конкретных моделей развертывания.
Технология сбора данных для облака и ЦОД
Перенос вычислительных нагрузок на периферию не всегда целесообразен. Если для конкретного решения требуется быстрое вертикальное масштабирование ресурсов сверх уровня, доступного на периферийном устройстве, то обработка данных в облаке будет более эффективной. Некоторые рабочие задачи требуют таких объемов вычислительных ресурсов, памяти и ресурсов хранения, что для своевременного генерирования результатов им требуется инфраструктура ЦОД или высокопроизводительных вычислений. В этих случаях технологии сбора данных будут наиболее эффективными в сбалансированной конфигурации, сочетающей в себе ключевые усовершенствования для вычислительных систем, систем хранения и сетевых систем и обеспечивающей более эффективное использование платформы и доступность данных.
Ваша комплексная стратегия сбора данных
Обширный портфель Intel от периферии до облака обеспечивает производительность, пропускную способность и доступность данных, необходимые для быстрого, согласованного и надежного сбора и обработки данных. Корпорация Intel предлагает комплексный фундамент для вашего конвейера данных, позволяя использовать интеллектуальные периферийные устройства, сетевые решения с высокой пропускной способностью и высокую производительность вычислений с несколькими точками входа и форм-факторами. Решения Intel® позволяют организациям быстро перемещать данные, получать полезные аналитические данные и использовать их с пользой.