General

# Тренди | великі дані

«Той, хто володіє інформацією, володіє світом». Схоже, ніколи ще ця фраза не звучала так вірно, як сьогодні. У другому десятилітті 21 століття інформація стала не тільки сировиною, інструментом і зброєю, але також найголовнішим активом, за володіння яким борються корпорації і уряди. Про це ми сьогодні і поговоримо.

</ P>

У сучасному діловому середовищі розпорядження данимиє найважливішим показником успіху підприємства. Багато компаній почали усвідомлювати важливість навичок використання інформації. Сьогодні так звані «великі дані» - це найважливіший тренд, який поширюється на самі різні напрямки бізнесу і технологій.

Термін «Великі дані» (Big data) використовуєтьсядля позначення ініціатив і технологій, які включають в себе різноманітні і стрімко збільшуються активи цих самих різних категорій. Різноманіття цієї інформації ускладнює їх обробку, і ті, кому вдається це робити на благо свого бізнесу, відносяться сьогодні до числа успішних.

Big Data передбачає створення великих обсягівскладних даних, їх зберігання, вилучення та аналіз. Дисципліна «великі дані» ґрунтується на принципі трьох V - Volume (об'єм), Velocity (швидкість) і Variety (різноманіття).

Обсяг. Двадцять років тому звичайний комп'ютер мав жорсткийдиск із середнім об'ємом 10 гігабайт. Сьогодні соціальні платформи, такі як Facebook, щодня обробляють понад півмільярда терабайт даних. Повітряні судна Boeing генерують сотні терабайт льотних даних за один-єдиний рейс. Широке використання смартфонів і планшетів забезпечує вироблення мільярдів терабайт постійно оновлюється інформації, яка є такою ж строкатою і різноманітною, як і наш світ.

Швидкість. Системи обліку кліків в Інтернеті кожну секундуаналізують мільйони дій користувачів Мережі. Зміни в стані торгів на фондових біржах оновлюються протягом мікросекунд. Ігрові сервери можуть підтримувати одноразова підключення мільйонів користувачів, які за кожну секунду здійснюють безліч дій. Це тільки декілька прикладів, які говорять про те, з якими шаленими темпами генеруються нові дані.

Різноманіття. Поняття «великі дані» поширюється нетільки на букви і цифри: він включає в себе аудіо, відео, розрізнений текст, дані з соцмереж і багато іншого. І там, де одні бачать гігантське звалище непотрібних відомостей, інші бачать безцінний актив, здатний змінити світ.

Термін Big Data вперше був введений главоюкомпанії O'Reilly Роджером Мугалусом ще в 2005 році. Однак питанням про те, як обробляти доступні дані, почали задаватися дуже давно. Насправді перші записи про спроби використовувати дані для управління діяльністю підприємств мають вік, що перевищує 7000 років.

Саме в ті часи в Месопотамії почали вестиоблік збору врожаїв та розведення худоби. Принципи обліку продовжували еволюціонувати і поліпшуватися, і в 1663 році демограф Джон Граунт почав фіксувати і аналізувати показники смертності в Лондоні. Робив він це для того, щоб громадськість оцінила масштаби поширення бубонної чуми в ті часи.

У своїй книзі «Природні і політичніспостереження над списками померлих »Граунт подарував світові перший в історії статистичний аналіз даних. Книга дозволила пролити світло на основні причини смертей в Англії 17-го століття. Завдяки цій роботі Граунт прославився як першопроходець в сфері статистики.

З тих часів принципи обліку даних продовжилиполіпшуватися, але нічого екстраординарного в цьому напрямку не виникло до тих пір, поки кінець 19-го століття не сповістив про вступ в інформаційну еру. Нова епоха почалася в 1889 році, коли Герман Холлерит винайшов обчислювальну систему для сортування даних перепису населення.

Наступний помітний стрибок стався в 1937 році,коли пост президента США займав Франклін Рузвельт. Після того як в Конгресі був прийнятий Закон про державну безпеку, від уряду зажадали вести облік мільйонів американців. В результаті уряд звернувся до компанії IBM з проханням розробити систему зчитування перфокарт, які були покликані зберігати величезні обсяги даних.

Однак першою машиною для обробки данихприйнято вважати систему «Колос», яка була розроблена британцями в 1943 році для розшифровки кодів нацистів під час Другої світової війни. Машина займалася пошуком будь-яких патернів, які регулярно з'являлися в перехоплених повідомленнях. Система працювала з рекордною швидкістю і змогла обробляти 5000 знаків в секунду, що дозволяло за пару годин виконувати роботу, на яку раніше йшли тижні.

Перший дата-центр був заснований американськимурядом в 1965 році і був призначений для зберігання мільйонів відбитків пальців і записів про сплачені податки. Записи фіксувалися на магнітних стрічках, які систематизувалися і зберігалися в спеціальному приміщенні. Вважається, що це було першим електронним сховищем інформації.

У 1989 році британський фахівець з інформатикиТім Бернерс-Лі винайшов всесвітню комп'ютерну мережу, маючи на меті забезпечити обмін інформацією за допомогою гіпертекстової системи. Тоді він навіть уявити не міг, який вплив на світ надасть його винахід, згодом отримало назву «Інтернет». Після початку дев'яностих все більше пристроїв початок підключатися до глобальної мережі, а значить, темпи генерування даних стали рости ще активніше.

У 1995 році був створений перший суперкомп'ютер. Ця машина була здатна за секунди виконувати роботу, на яку у простої людини потрібні були б тисячі років. А потім настав 21 століття.

Тут ми знову звернемося до 2005 року, колиРоджер Мугалус ввів термін «великі дані». В цьому ж році компанія Yahoo створила нині відкриту платформу Hadoop, мета якої полягала в індексуванні всього Інтернету. Сьогодні Hadoop використовується мільйонами підприємств для отримання і обробки колосальних обсягів даних.

За останні 10 років соціальні мережі стрімкорозвивалися, а обсяги інформації, створюваної користувачами, щодня росли. Компанії та уряди один за одним почали реалізацію проектів в сфері Big Data. Наприклад, в 2009 році уряд Індії створило найбільшу базу біометричних даних, в якій зберігаються відбитки пальців і скани райдужних оболонок ока всіх громадян країни.

У 2010 році голова Google Ерік Шмідт виступив накаліфорнійської конференції Techonomy, розповівши, що за останні сім років компанія накопичила 5 ексабайт даних. Навряд чи він міг уявити, що до 2017 року аналогічний обсяг інформації буде вироблятися щодня. При цьому темпи зростання і не думають сповільнюватися.

Погляд у минуле дозволив нам скласти приблизнийуявлення про те, які тенденції нас чекають в майбутньому. Якщо два десятиліття тому найуспішнішими були підприємства, які володіють інформацією, то сьогодні успіх мають ті, хто вміють найкращим чином інтерпретувати і використовувати наявну інформацію. Цілком логічно можна очікувати, що в майбутньому успіх буде залежати від здатності змусити великі дані сприяти в прийнятті вірних стратегічних рішень.

Напевно у більшості з нас при згадціпоняття «великі дані» в голові виникає величезне приміщення, заставлене безліччю серверів з миготливими вогниками. Але щоб зрозуміти, що мова йде про дійсно важливому феномен, котрий змінив правила гри, досить звернутися до кількох прикладів.

Недавні вибори президента США показали,наскільки ефективним може виявитися застосування новітніх інформаційних технологій. У той час як Хілларі Клінтон вдавалася до традиційних методів і привертала до свого штабу знаменитостей, команда Дональда Трампа вирішила сфокусувати увагу на вивченні переваг і споживчої поведінки мільйонів американців. Отримавши точні дані про те, чого хоче електорат, штаб кандидата від республіканців зміг більш ефективно відповідати на запити активних користувачів Інтернету. У підсумку перемога Трампа не виглядає такою вже несподіваною, якщо взяти до уваги те, яка велика і результативна робота була пророблена.

Або візьмемо, наприклад, стрімінг-сервіс Netflix,який за останні роки став одним з найпопулярніших виробників контенту. Поставляючи відеоматеріали глядачам, компанія встигла накопичити гігантський обсяг статистичних даних, досконально вивчивши переваги користувачів: які сюжети їм більше до душі, яких акторів вони люблять, які сцени переглядають декілька разів, а які пропускають. В результаті кожен новий серіал Netflix потрапляє в точку і заробляє найвищі рейтинги на IMDB. Якщо ви як і раніше вважаєте, що запорука успіху полягає в таланті шоураннер, то, швидше за все, ви занадто наївні.

В мікроскопічному масштабі великі дані можнапоставити на службу вашому самовдосконалення. Наприклад, ваш фітнес-браслет або розумні годинник може збирати інформацію про споживаних калорій, пройдену відстань, серцевому пульсі, а також статистику сну. Збір і аналіз таких відомостей дозволить вам скорегувати свої звички, що при належному терпінні має буде позитивно позначитися на вашому здоров'ї та довголітті.

До речі, і в глобальному масштабі великі даніактивно допомагають медицині. Уже зараз обробка накопичених статистичних даних дозволяє не тільки в лічені хвилини з високою точністю діагностувати різні захворювання, але і ефективно прогнозувати їх виникнення. Це повинно буде убезпечити людей від зачаїлася загрози і врятувати мільйони життів.

Один з яскравих прикладів - платформаResearchKit, яку компанія Apple запустила в 2016 році. Завдяки використанню мобільних додатків медичні фахівці збирають дані про стан здоров'я користувачів. Це дозволяє не тільки поширювати догляд за хворими за межі клініки і забезпечувати їх швидке одужання, але і накопичувати необхідні дані для підвищення ефективності взаємодії з майбутніми пацієнтами.

Зрозуміло, великими даними активно користуються іправоохоронні органи. Наприклад, Агентство національної безпеки США використовує наявними даними для виявлення і попередження терористичної активності. Корпорації давно користуються рішеннями в цій галузі для профілактики кібератак і несанкціонованих проникнень в системи. Поліція теж експериментує з Big Data, намагаючись на підставі інформації з публічних профілів визначати потенційну загрозу для правопорядку того чи іншого громадянина.

Тут не зайвим буде згадати показовуісторію 2014 року, коли чиказька поліція за допомогою комп'ютерної системи склала список з 400 жителів міста, які мають всі передумови для того, щоб порушити закон. Поліцейські відвідали цих громадян і провели з ними профілактичні бесіди, проте історія наробила багато шуму, в першу чергу через безцеремонного вторгнення в особисте життя. Хоча проект зі скандалом закрили, немає ніяких свідоцтв того, що комп'ютерний аналіз потенційних кримінальних нахилів громадян був припинений.

Хоча епоха великих даних все ще знаходиться напочатковій стадії, досягненнями цієї дисципліни вже активно користуються як приватні корпорації, так і уряду. Але головне, щоб цей цінний актив не виявився в розпорядженні тих, хто міг би використовувати його на шкоду людству.

# Тренди | нейросети