Понятие искусственного интеллекта (ИИ) сейчас на слуху, причем интерес к этой теме не падает уже несколько лет. Давайте же разберемся, какова разница между следующими терминами:
— искусственный интеллект;
— нейронная сеть;
— машинное обучение;
— глубокое обучение.
А также посмотрим, как они взаимосвязаны.
Нейросеть и искусственный интеллект
Первое, что следует сказать, — нейросеть и ИИ — это не одно и то же. Сам по себе термин искусственный интеллект переводится как artificial intelligence (AI) и впервые появился в 1956 г. (был озвучен в Стэнфорде). Термин относится к широкой области научных исследований, связанных с созданием разумных машин.
Нейронная сеть является одним из направлений работы в сфере искусственного интеллекта. Еще в 70-80 гг. ученые пытались создать вышеупомянутый ИИ на основе как раз таки нейросетей, однако вычислительных мощностей тогда было недостаточно. Сегодня ситуация улучшилась, но она до сих пор не идеальна.
Однако можно сказать, что когда кто-то говорит об использовании в своих решениях ИИ, то в 99,9 % случаев речь идет о применении нейросетей, повсеместно применяемых для создания искусственного интеллекта.
Нейросеть и машинное/глубокое обучение
Если кто-либо произносит «machine learning», то имеется в виду обучение нейросети на основании статистической выборки, то есть, в маркетинговом смысле термины «нейросеть» и «машинное обучение» можно считать синонимами. При этом следует отметить, что сегодня разработано огромное количество как методов машинного обучения, так и архитектур нейронных сетей.
А чем же тогда является deep learning? Не более, чем разновидностью пресловутого машинного обучения, причем конкретной и четкой границы между этими терминами не существует.
Выводы
Итак:
— изначально появилось широкое научное направление «искусственный интеллект» (ИИ), оно же artificial intelligence (AI);
— внутри этого направления появились искусственные нейронные сети (ИНС);
— нейросети ассоциируются с термином «машинное обучение» (нейросети ведь надо обучать);
— частным случаем машинного обучения являются нейросети глубокого обучения.
По материалам https://mcs.mail.ru/blog/.
Искусственный интеллект (ИИ) сейчас на волне хайпа и, в отличие от блокчейна, падения интереса к теме пока не наблюдается. Это значит, что нас продолжат бомбардировать удивительными сообщениями из мира ИИ – то вселять надежду на скорое всеобщее благоденствие, то пугать апокалипсисом восстания машин в духе Терминатора. Чем отличается нейросеть от искусственного интеллекта и как же разобраться: где маркетинговая чепуха, а где настоящие достижения и реальные угрозы?
Если вы попробуете самостоятельно разобраться и для начала откроете Википедию на статье, например, про перцептрон, то скорее всего вас ждет разочарование – вроде и по-русски написано, но ничего не понятно! Если только вам не повезло изучать математику в университете, но тогда и заметка вам не нужна.
Тем не менее, опираясь на здравый смысл, даже из беглого просмотра статей по ИИ в Википедии один полезный вывод можно сделать сразу. Искусственный интеллект и нейронные сети, однослойные и многослойные, сверточные и рекуррентные, обучение с учителем и без, глубокое и неглубокое – это все чертовски сложно! Значит, должно быть очень мало людей, которые действительно разбираются в предмете, и еще меньше тех, кто может применить математические абстракции на практике. Отсюда следует, что большинство «экспертов в области ИИ» на самом деле таковыми не являются, – их просто не может столько быть физически, поэтому весьма высок риск нарваться на шарлатанов или далеких от жизни романтиков (что может быть и хуже). Будьте осторожны, лапши для ушей по теме ИИ на рынке фантастически много!
Нейросеть и искусственный интеллект: разница есть, или это одно и то же?
Строго говоря, есть. Существует множество концепций и попыток реализации ИИ. Термин artificial intelligence (AI) был впервые предложен в 1956 году в Стэнфорде и относится к широкой области научных исследований по созданию разумных машин. Первый «подход к снаряду» по созданию искусственного интеллекта на основе нейронных сетей в 70-80-х годах XX века потерпел фиаско, в основном из-за недостаточности вычислительных мощностей. С тех пор попытки не прекращаются, но о полном успехе говорить рано.
Нейросеть – это не искусственный интеллект, но сейчас именно они захватили всеобщее внимание. Теперь если какой-то стартап или мегакорпорация говорит о применении в своих решениях искусственного интеллекта, то с вероятностью, очень близкой к 100%, они подразумевают нейросети.
Машинное обучение и нейронные сети: разница в контексте маркетинга неочевидна
Когда кто-то загадочным тоном произносит слова «machine learning», то он имеет в виду обучение нейронной сети на основе статистической выборки, то есть, слова «нейросеть» и «машинное обучение» в маркетинговом контексте можно считать синонимами.
Методов обучения и архитектур сетей разработано огромное количество, так что неспециалисту оценить преимущества того или иного подхода нет никакой возможности. Как же быть? Бизнесу следует держать в уме, что не все нейросети одинаково полезны для решения конкретных задач, поэтому к выбору партнера надо подходить очень тщательно – так же, как к выбору стоматолога, а то потом обойдется себе дороже.
А что же тогда deep learning? Глубокое обучение – это разновидность машинного обучения, причем четкой границы между ними не существует. Пишут, что глубокое обучение имитирует абстрактное мышление человека. Чушь, не верьте. Ибо механизм мышления достоверно не изучен. Никакой магии в глубоком обучении нет, работает просто статистика – но действительно, не всегда понятно, как обученная нейросеть приходит к своим выводам. И еще не факт, что все ее решения правильные.
О терминологии: «глубокое» или «глубинное»?
Говорит профессор ВШЭ, Константин Воронцов, один из настоящих экспертов в области ИИ: «Я считаю, что слово “глубинное” имеет в русском языке другой смысл: глубинным бывает залегание нефти, бомбометание, отложение и т. д. “Глубокое” – это более математичный термин, потому что суперпозиция функций может быть глубокой, но не глубинной, а нейронная сеть – это именно суперпозиция функций». Так что не путайте, говорите правильно!
Кстати, по-русски было бы логичнее говорить «обучение машин», что передает суть процесса – обучение нейросети. Но прижилось странное словосочетание «машинное обучение». Чем непонятнее, тем дороже.
Для наглядности вышесказанное можно представить в виде картинки: сначала возникло широкое научное направление «искусственный интеллект», потом внутри него появились искусственные нейронные сети (ИНС), которые ассоциировались с термином «машинное обучение». Как частный случай можно рассматривать нейронные сети глубокого обучения.
Котик или собачка? Применение сверточных нейросетей для компьютерного зрения
Компьютер Deep Blue стоимостью в $10 млн, в котором было 480 специализированных шахматных процессоров и 30 обычных, обыграл чемпиона мира Каспарова еще в 1997 году. Но простая задача, с которой справляется маленький ребенок, – отличить котика от собачки – долго была машинам не под силу. Пока на сцену не вышли сверточные нейронные сети.
Дело, конечно, не в котиках – хотя по количеству публикаций на эту тему может сложиться мнение, что распознавание котиков и есть главная задача современной науки. На самом деле программисты и математики решали проблему компьютерного зрения, чтобы научить машины «видеть» с помощью нейронных сетей. Это нужно в робототехнике, беспилотных автомобилях, медицинской диагностике, системах безопасности и много еще где. А котики – ну просто так повелось, это был один из первых примеров на распознавание образов.
Чтобы подогреть интерес разработчиков, с 2010 года проводится конкурс ILSVRC (ImageNet Large Scale Visual Recognition Challenge), в рамках которого различные программные продукты соревнуются в классификации и распознавании объектов и сцен в самой большой в мире базе аннотированных изображений ImageNet. (На август 2017 года в ней было 14 197 122 изображения, разбитых на 21 841 категорию.)
Первые два года дела шли ни шатко ни валко, хорошим результатом считалась ошибка распознавания 25%, что с научной стороны может и хорошо, но для практических целей применения нейронных сетей совершенно непригодно. Представьте себе беспилотное такси, которое в одном случае из четырех не понимает, дерево перед ним или человек. И вот в 2012 году неожиданно с двукратным отрывом от остальных участников побеждает система глубокого обучения на основе сверточной нейронной сети, которая смогла достичь 16% ошибки! В следующие годы ошибка упала до нескольких процентов.
Именно с этого момента и начался бум глубокого обучения.
Обманчивая простота применения нейронных сетей
«А давайте мы скормим ваши данные нейросети, она сама обучится и решит все ваши проблемы!» – так обычно говорят энтузиасты-неофиты, уверовавшие во всемогущество подхода deep learning. «Мы заменим роботами юристов, врачей, чиновников, водителей и так далее», – продолжают они.
Искусственный интеллект и нейронная сеть, как гениальный Шерлок Холмс, мгновенно находит решения самых разных задач, а туповатому доктору Ватсону только и остается восклицать: «Холмс! Но черт возьми, как?» Но нейро-Холмс не снисходит до объяснений, он просто выдает результат, который считает правильным по одному ему ведомым причинам.
И, как ни странно, люди верят. Первыми на эту иглу подсели водители, которые совсем перестали знать город и едут исключительно по навигатору. Это еще можно понять, поскольку цена ошибки невелика – ну, свернули с помощью нейронной сети не туда, сделаете лишний крюк и все равно как-то доедете до места назначения. А если вопрос касается буквально жизни и смерти? Возьмем хотя бы широко раскрученный проект IBM Watson for Oncology (он так назван отнюдь не в честь спутника знаменитого детектива, а в честь первого CEO компании IBM Томаса Уотсона).
Так вот, оказалось, что искусственный интеллект и нейронные сети тоже совершают врачебные ошибки. Одним из примеров является случай 65-летнего мужчины с диагнозом рак легкого, у которого также было сильное кровотечение. Watson предложил мужчине назначить химиотерапию и препарат «Бевацизумаб». Но препарат может привести к «тяжелому или смертельному кровотечению», согласно предупреждению, и поэтому не должен назначаться людям с сильным кровотечением. Хорошо, что это выявилось в процессе тестирования системы, а не в «боевой» эксплуатации. Ведь врачи – тоже люди, ничуть не лучше таксистов. Как только система из разряда диковины перейдет в повседневное использование, ей станут безоговорочно доверять. И кто тогда будет в ответе за вашу жизнь? Программа? На текущем этапе развития и применения нейронных сетей это слишком опасно.
Схемы организации нейронных сетей
Возможно, именно поэтому мы наблюдаем поток новостей обуспешных примерах нейронных сетей в таких безопасных (и бесполезных в смысле развития цивилизации) областях, как маркетинг, оптимизация продаж, индустрия моды и так далее. Ну что за беда, если в виртуальной примерочной платье сядет не по фигуре какой-то покупательнице? Или якобы точно таргетированное персональное предложение, подготовленное с учетом 100-500 ваших лайков и комментариев в соцсети, выстрелит мимо цели? Никто же не пострадает.
Главное, что бизнес верит в deep learning и готов за это платить. Будем надеяться, что инвестиции пойдут на пользу индустрии и позволят создать действительно полезные ИИ-системы в области здравоохранения, беспилотников всех видов и мастей, роботов различного назначения.
Неудачный пример нейронной сети: урок Google Flu
В стародавние времена, в 2008 году, когда еще не было вокруг разговоров про нейронные сети и искусственный интеллект, а была только одна сплошная Big Data, компания Google запустила амбициозный проект Google Flu Trends (GFT), который, по уверениям разработчиков, мог обнаруживать наступление эпидемии гриппа в каком-то регионе на основе анализа поисковых запросов. На первый взгляд, все казалось логичным – почувствовав недомогание, люди должны искать в интернете информацию о лекарствах или о медицинских услугах.
Первоначально заявлялось, что прогнозы Google Flu Trends на 97% точнее по сравнению с данными официальной медицинской статистики. Затем GFT потерпел неудачу, и весьма эффектную, – ошибся с определением пика сезона гриппа 2013 года на 140%. Почти знаменитые 146%.
Почему это произошло? Если не вдаваться в мелкие подробности, то суть проста: вы не можете полагаться на данные, когда речь идет о действиях и мнениях людей. В голове у каждого из нас по 100 миллиардов нейронов, которые взаимодействуют непредсказуемым образом, и что наша нейросеть выдаст в очередной раз, никому неизвестно. Примитивные гипотезы типа «мы сейчас покажем клиенту нашу рекламу, потому что он лайкнул определенный пост» не работают.
Запомните: психология – не физика. Здесь сколько ученых, столько и теорий. Представьте, если бы у вас было двадцать методик расчета траектории ракеты для полета к Луне, дающих разные результаты, то какую бы вы выбрали? Сегодня нет сколько-нибудь стройной теории работы мозга и процесса мышления, так что все игры с данными о поведении людей являются не более чем спекуляциями.
Применение нейронных сетей: сферических коней в вакууме не существует
Это факт – в вакууме коней нет. Сферический конь – это абстракция, над которой почему-то принято смеяться. Но физика полна этими абстракциями – материальная точка, абсолютно черное тело, идеальный газ… Все физические теории оперируют такими отвлеченными понятиями и при этом весьма неплохо описывают реальный мир.
Нейросеть же, для обучения которой используются, допустим, фотографии лошадей, в принципе неспособна прийти к такой абстракции, как сферический конь. А человек может. Именно это отличает фундаментальную науку от статистических обобщений, которыми занимаются нейросети. Благодаря гениальным догадкам ученых, которые затем проходят экспериментальную проверку, мы получаем новые знания об окружающем мире.
Ноам Хомский так говорил в одном из интервью о невозможности научных открытий только при помощи статистических методов: «Просто работать с сырыми данными – вы никуда с этим не придете, и Галилей бы не пришел. Фактически, если к этому вернуться, в XVII веке людям, таким как Галилей и другим великим ученым, было непросто убедить Национальный научный фонд тех времен – аристократов, – в том что в их работах был смысл. Я имею в виду: зачем изучать, как шар катится по идеально ровной плоскости без трения, ведь их не существует… Важно помнить, что в когнитивной науке мы еще в до-Галилеевой эпохе, мы только начинаем делать открытия».
Представьте: если бы искусственный интеллект и нейросети были во времена Ньютона, и вместо того, чтобы размышлять об устройстве мироздания лежа под яблоней, сэр Исаак стал бы «скармливать» своей нейросетке видеозаписи падения разных предметов – перышка, шишки, чугунного ядра, куска материи, пылинки… Узнали бы мы тогда о законе всемирного тяготения? Вряд ли. Не верите? Вот описание одного эксперимента XVII века, которое приводит Ноам Хомский в том же интервью:
«Один из основных экспериментов в истории химии в 1640 году или около того, когда кто-то доказал, к удовольствию всего научного мира вплоть до Ньютона, что воду можно превратить в живую материю. Вот как они это делали — конечно, никто ничего не знал о фотосинтезе, — они брали кучу земли и нагревали ее так, чтобы вся вода испарялась. Землю взвешивали, вставляли в нее ветку ивы и поливали сверху водой, измерив объем этой воды. Когда ивовое дерево выросло, вы опять берете землю, выпариваете из нее воду — так же, как и раньше. Таким образом, вы показали, что вода может превратиться в дуб или что-то еще. Это эксперимент, и он вроде бы даже верный, но вы не знаете, что вы ищете. И это было неизвестно до тех пор, пока Пристли не открыл, что воздух — это компонент мира, в нем есть азот и так далее, и вы узнавали про фотосинтез и прочее. Тогда вы можете повторить эксперимент и понять, что происходит. Но вас легко может увести не в ту сторону эксперимент, который кажется успешным из-за того, что вы недостаточно хорошо понимаете, что вам следует искать. И вы еще больше уйдете не в ту сторону, если попробуете изучать рост деревьев так: просто взять массив данных о том, как деревья растут, скормить его мощному компьютеру, провести статистический анализ и получить аппроксимацию того, что произошло».
Рассказываем об IT-бизнесе, технологиях и цифровой трансформации
Подпишитесь в соцсетях или по email
Стеклянный ящик вместо черного: объяснимый искусственный интеллект (XAI)
Когда эйфория от первых успехов искусственного интеллекта и нейронных сетей прошла, заказчики и регуляторы стали задаваться вопросом – а как эта штука на самом деле принимает решения? Почему одному заемщику она утверждает кредит, а другому отказывает? Большинство систем, построенных на технологии глубокого обучения, работают по принципу «черного ящика», когда их разработчики, радостно улыбаясь, говорят, что они сами не знают, что там происходит внутри.
Но позвольте, а как же быть с тем же GDPR (регламент по защите данных в ЕС), который требует прозрачности в использовании компаниями персональных данных? Уже известно много случаев, когда алгоритмы принимают предвзятые решения, потому что обучающая выборка была сформирована некорректно.
Объяснимый ИИ, который также называют XAI или прозрачный ИИ, представляет собой систему, в которой люди могут с легкостью понять действия ИИ. Цель – добиться ясного понимания того, как и почему ИИ принимает те или иные решения. Несомненно, появление объяснимого ИИ – шаг в правильном направлении, поскольку он делает технологию применения нейросетей более прозрачной.
Пожалуй, объяснимый ИИ будет главным трендом 2019 года – заказчикам нужен не просто результат, но еще и внятное объяснение, как он был получен и почему он правильный. Потому что ответственность в конечном счете лежит на людях, а не на алгоритмах.
ИИ это концепция, к которой все стремятся, но на текущем уровне развития человечества, это нечто бесконечно недостижимое, и на данные момент времени НЕ СУЩЕСТВУЕТ НИ В КАКОЙ ВИДЕ.
Все, где используется эта аббревиатура — фикция для привлечения внимания и повышения популярности среди тех, кто не в теме и не разбирается.
Да и нейроны в нейронных сетях это лишь жалкое подобие на нейроны. Это все равно что назвать атом клеткой.
Есть модные слова: искусственный интеллект (ИИ), машинное обучение и нейросети. Разберёмся, что есть что и зачем оно нужно.
Чем не угодили обычные алгоритмы
С момента создания первых компьютеров люди давали им инструкции: делай то-то, в таком-то порядке. Порядок и описание действий называется алгоритмом. Все программы, которые вас окружают, работают на базе алгоритмов. Там всё чётко: «Если нажата такая кнопка, сделай вот это».
Проблема алгоритмов в том, что они совершенно беспомощны за пределами своих инструкций. Компьютеры не умеют ориентироваться по ситуации. Если в алгоритме что-то не прописано, компьютер этого не сделает, даже если от этого зависит его жизнь. Если бы компьютеры умели ориентироваться в нестандартных ситуациях, мы бы никогда не видели ошибок и «синих экранов смерти».
Например, вы сказали роботу «Перед переходом улицы посмотри сначала налево, а потом направо, и если машин нет, то переходи дорогу». Робот подошёл к переходу. Он посмотрел налево, увидел там асфальтоукладчик. Асфальтоукладчик — это не машина, поэтому робот переходит дорогу, его вкатывает в асфальт. А что? Такой алгоритм.
Чтобы роботы вели себя немного умнее, им пишут сложные алгоритмы. Но проблема остаётся: всё, что в алгоритм не попало, никогда не будет исполнено. И разработчики уже много десятилетий мечтают научить машины думать более самостоятельно. Для этого придумали много чего, в том числе — нейросети.
Что такое нейросети
Есть много мифов о нейросетях: будто это компьютерный разум, самообучающаяся система, мыслящая программа и так далее. Всё это не так.
На самом деле нейросеть — это просто очень сложная база данных с кучей формул. Данные поступают с одного конца базы данных, обрабатываются через кучу формул и выдаются с другого конца. Никаких мыслей там нет — просто математика. Сложность в том, чтобы вывести те формулы, благодаря которым нейросеть даёт хоть сколько-нибудь полезный результат. Выведение этих формул — и есть машинное обучение. У нас будет отдельная статья о том, как это всё устроено.
Вот самое простое отображение структуры нейросети. Слева ячейки ввода данных, справа ячейки вывода данных, а между ними — какой-то скрытый слой, в котором нейросеть совершает свои математические вычисления. Пока что это может быть непонятно, но мы еще расскажем об этом отдельно.
Чем нейросети отличаются от алгоритмов
В алгоритмах разработчики сразу прописывают правильную последовательность действий, которые дают какой-то предсказуемый результат. Например, разработчик пишет программу для расчета площади квартиры по чертежу, и там пошагово описаны все действия: умножь, сложи, вычти и т. д. Если посмотреть на этот алгоритм, будет понятно его устройство, в него можно внести изменения.
Нейросетям вместо алгоритмов дают много заранее правильно решенных задач. Например, десять тысяч планов квартир с уже прописанными площадями. И нейросеть начинает угадывать, какой результат от нее ожидают. Отдельный алгоритм говорит ей, правильно она угадала или нет, и со временем она учится угадывать всё более правильно.
По ходу обучения у нейросети формируются связи, которые позволяют ей угадывать полезный результат. Какие это связи, никто не понимает — мы можем их пронаблюдать, но не всегда можем понять принцип, по которым они формируются.
Короче: алгоритм делает то, что ему сказано, и дает четкий предсказуемый результат. Нейросеть угадывает, что мы от нее хотим, по непонятному нам принципу. При этом, если сеть достаточно хорошо обучена, ее угадывания могут быть достаточно точными.
Что нужно понимать о нейросетях
Нейросети в современном виде — это машины по обработке чисел. Нейросеть не понимает, что смотрит на картинку или водит машинку, — она лишь видит числа на входе и выдаёт числа на выходе. Она даже не знает, что у её чисел на выходе для нас есть какое-то значение.
Например, в этом видео нейросеть получает семь чисел на входе (это расстояния до препятствий и направление движения) и выдает два числа на выходе — поворот руля и газ-тормоз. И уже симулятор гоночной игры превращает эти числа в движение машинки. Нейронка просто обрабатывает числа:
Нейросеть всё еще не умеет импровизировать. Она может действовать в ситуации некоторой непредсказуемости, но генерировать оригинальные решения — нет.
Нейросеть можно запустить на любом компьютере, особое железо не нужно. Это просто алгоритм и данные. Их можно скопировать, заархивировать и выложить в интернет.
При этом есть и специальное железо — нейронные процессоры или, по-другому, ИИ-ускорители. Это те же микропроцессоры, но соединённые таким образом, чтобы быстрее обсчитывать именно нейронки. Но они нужны только для скорости, так-то принципиально нейронку можно рассчитать и на обычном процессоре.
На нынешнем витке развития нейросети способны лишь воспроизводить то, чему их научили. Свободное творчество с чистого листа пока не изобрели.
Где используется ИИ
Вокруг нас уже много устройств и сервисов, внутри которых есть ИИ в том или ином виде.
Голосовые помощники в телефонах и колонках распознают речь и команды, чтобы показать нам лучший маршрут, результат поиска или зачитать прогноз погоды. Та же «Алиса» распознаёт речь, анализирует её, определяет тематику диалога, выделяет полезную для поиска информацию и синтезирует ответы помощника — и во всём ей помогают заранее натренированные нейросети. Подробнее про устройство «Алисы» читайте на Хабре.
Чат-боты на сайтах понимают типовые вопросы, даже если они сформулированы по-разному, и отвечают на них. Это позволяет нанимать меньше людей в техподдержку. Они отличаются от примитивных ботов «Оставь-свой-номер-и-мы-перезвоним» тем, что распознают текст вопроса и сами находят на него ответ в своей базе знаний. Чаще всего внутри таких ботов крутится TensorFlow — система машинного обучения от Google с открытыми исходниками. Хотите собрать такого бота самостоятельно — держите инструкцию.
Умные фильтры в фотокамерах сами определяют, когда вы снимаете против солнца, и добавляют яркости в тенях, чтобы картинка получилась сбалансированной. Если делаете селфи — камера понимает, что на фото будет лицо и делает его ещё красивее: убирает прыщики, морщинки и торчащие волоски. В последних моделях телефонов Honor за это отвечает отдельный модуль в процессоре — Neural Network Processing Unit: NPU. Он управляет простой нейронкой, но даже её хватает для того, чтобы делать классные фотки.
Вариантов реализации ИИ много, но их все можно разделить на две группы — решение узких задач и полноценный искусственный интеллект общего назначения.
ИИ общего назначения
А вот здесь всё не так здорово, как в решении прикладных задач. Дело в том, что научить компьютер мыслить как человек пока невозможно. Каждая область мышления — отдельная программа, которая должна уметь работать со всеми остальными программами. Реализовать такую масштабную систему пока невозможно — нет ни алгоритмов, ни вычислительной мощности для этого, плюс не на чем обучать.
Есть имитации искусственного интеллекта в относительно широких областях, но полноценно мыслить как люди они не могут. Например, разработка компании IBM — ИИ Watson — может строить логические связи между множеством фактов и делать правильные выводы на их основе. Одно из применений Ватсона — постановка диагнозов в медицине. Ещё он круто играет в «Jeopardy!» — аналог «Своей игры» на американском ТВ.
Но даже Ватсон не может одновременно распознавать лица, писать актуальный и осмысленный текст, поддерживать полноценный диалог и принимать решения, поехать ли в выходные на шашлыки или провести время с детьми. Возможно, ситуация изменится с выходом полноценных квантовых компьютеров, но до этого пока ещё очень далеко.
Плюс, есть чисто философская проблема: люди пока что не поняли до конца, что такое сознание, что его определяет, что такое разум и интеллект. Что, если наш мозг — тоже лишь нейросеть, которая видит информацию на входе и выдаёт действия на выходе? А всё, что мы считаем сознанием, — лишь внутренний шум от работы нейронов?
Но философию оставим философам. В одной из следующих статей покажем, как по нейронкам бегут сигналы, и детально разберём суть машинного обучения.
Только глупец не понимает, что его профессия скоро отойдет к ИИ
Новые профессии с практикой и наставниками — в Яндекс Практикуме. 8 часов обучения бесплатно — на попробовать.
Начать карьеру в ИТ
Нейросети способны выполнять целый набор сложных задач в разных сферах науки и бизнеса — начиная от сортировки картинок и заканчивая сложными вычислениями
Содержание:
- Что такое нейросеть
- Как работает нейросеть
- Как применяются нейросети
- Как обучают нейросети
- Специалисты по нейросетям
В последние годы нейронные сети прошли путь от простых сортировщиков картинок на смартфонах до помощников в решении глобальных задач в науке. Современные нейросети способны заменить или дополнить работу человека во всех случаях, когда решение нужно принимать на основе предыдущего опыта. «РБК Тренды» разбирался, как устроены и работают нейросети, как их обучают и в каких сферах применяют.
Что такое нейросеть
Нейросеть — это тип машинного обучения, при котором компьютерная программа имитирует работу человеческого мозга. Подобно тому, как нейроны в мозге передают сигналы друг другу, в нейросети информацией обмениваются вычислительные элементы.
Идею нейронных сетей впервые предложили исследователи из Чикагского университета Уоррен Маккалоу и Уолтер Питтс в 1944 году. Первую обучаемую нейросеть в 1957 году продемонстрировал психолог Корнеллского университета Фрэнк Розенблатт. Она была примитивной (одноуровневой).
В 1980-х годах, когда появились более мощные компьютеры для вычислений, исследователи смогли разработать нейросети с двумя и тремя уровнями обучения.
Однако возрождение интереса к нейронным сетям и революция в глубоком обучении произошли лишь в последние годы благодаря индустрии компьютерных игр. Современные игры требуют сложных вычислений для обработки большого числа операций. В итоге производители начали выпускать графические процессоры (GPU), которые объединяют тысячи относительно простых вычислительных ядер на одном чипе. Исследователи вскоре поняли, что архитектура графического процессора очень похожа на архитектуру нейросети.
Современные GPU позволили развивать «глубокое обучение» — повышать глубину слоев нейросети. Именно благодаря ему появились самообучаемые нейросети, которые не требуют специальной настройки, а самостоятельно обрабатывают входящую информацию.
Как работает нейросеть
Каждая нейронная сеть состоит из искусственных нейронов, которые имитируют работу человеческих. Это программные модули или узлы, которые взаимодействуют и обмениваются информацией для решения задачи.
Базовая нейронная сеть содержит три слоя искусственных нейронов:
- входной — обрабатывает информацию извне, анализирует или классифицирует ее и передает на следующий слой;
- скрытый (их может быть несколько) — анализирует выходные данные предыдущего слоя, обрабатывает их и передает на следующий;
- выходной — выдает окончательный результат после обработки всех данных.
Глубокие нейронные сети отличаются тем, что искусственные нейроны в них связаны друг с другом, а каждой такой связи присваивается определенный вес, который отражает ее значимость. Кроме того, связь между нейронами может быть «упреждающей». Это означает, что данные проходят через них только в одном направлении. Такое происходит, если значение «веса» соединения ниже заданного.
При обучении нейронной сети все ее «веса» изначально задаются случайными значениями. Обучающие данные подаются на нижний, или входной, слой. Затем они проходят через последующие слои, пока не достигают выходного. Во время обучения «веса» и пороговые значения постоянно корректируются до тех пор, пока данные обучения не будут постоянно давать одинаковые результаты.
Как устроена примитивная нейросеть
(Фото: neuralnet.info)
Эти «веса» помогают определить важность той или иной переменной во входных данных. При прохождении каждого слоя входные данные умножаются на их «веса», а затем суммируются. Если получившееся значение выше заданного порога, то нейрон активируется и передает данные на следующий уровень.
Приведем пример — попросим нейросеть ответить на вопрос, стоит ли заняться серфингом (варианты ответа «да» — 1 и «нет» — 0. Предположим, что на это решение (y-hat) влияют три фактора. Сформулируем их в виде вопросов:
- хорошие ли волны? («да» — 1 и «нет» — 0);
- свободен ли пляж? («да» — 1 и «нет» — 0);
- фиксировались ли в последнее время нападения акул? («да» — 0 и «нет» — 1).
Затем предположим следующее, используя входные данные:
- X1 = 1, так как волны есть;
- X2 = 0, так как на пляже нет толпы;
- X3 = 1, так как нападений акул не фиксировалось.
Теперь нам нужно присвоить этим значениям некоторые «веса», чтобы определить их важность. Расположим приоритеты следующим образом:
- W1 = 5, так как большие волны на этом пляже возникают нечасто;
- W2 = 2, так как вы не боитесь толпы;
- W3 = 4, так как вы боитесь акул.
За пороговое значение мы примем 3, соответственно, значение смещения составит –3. Теперь можно начать подставлять значения в формулу, чтобы получить желаемый результат:
Y-hat = (1*5) + (0*2) + (1*4) – 3 = 6.
Поскольку полученное значение выше 3, то решение о серфинге будет положительным.
В зависимости от архитектуры нейросети делятся на типы:
- прямого распространения — обрабатывают входные данные и сразу выдают результат. Чаще всего применяются для распознавания образов и текста, а также классификации данных;
- рекуррентные — перенаправляют информацию туда и обратно по слоям, пока не получат конечный результат. Этот тип обычно используется для прогнозирования;
- сверточные — обрабатывают каждый признак в отдельном слое. Такой тип применяется в классификации изображений, обработке языка и т.д.
Помимо основных типов встречаются десятки подтипов нейросетей. Например, модульные — это, по сути, совокупность нейросетей, которые работают независимо друг от друга, чтобы ускорить вычисления.
Какие бывают архитектуры нейросетей
(Фото: habr.com)
Как применяются нейросети
Нейронные сети широко используются в самых разных областях — от медицины и до сферы развлечений. Они выполняют несколько основных типов задач.
Автоматическая генерация контента
- Чат-бот ChatGPT от OpenA может отвечать на вопросы, поддерживать диалог, искать ошибки в коде, сочинять стихи, писать сценарии и т.д.
- Нейросети DALL-E, Midjourney, Stable Diffusion генерируют картинки по текстовому описанию.
- Нейросеть Imaginary soundscape создает фоновую музыку по изображению.
- VALL-E озвучивает текст, точно имитируя голос человека и его интонации.
- Нейросеть MARZ позволяет омолаживать лица актеров в фильмах.
Как работает нейросеть MARZ
(Видео: YouTube)
В этой группе есть и нейросети с необычными задачами. Например, Different Dimension Me позволяет сгенерировать изображение в стиле аниме по фотографии или картинке.
Распознавание и обработка естественного языка
- Чат-бот ChatGPT способен вести диалог, искать ошибки в коде, сочинять стихи, писать сценарии и даже давать медицинские советы. Нейросеть можно встраивать в любые сайты и сервисы, а Microsoft уже внедрила чат-бота в свой поисковик Bing для получения более точных результатов поиска.
- Чат-бот LaMDA может вести диалог на любую тему и отвечать на любые вопросы пользователя. В перспективе его внедрение позволит создавать новые категории приложений.
- Нейросеть Yandex Cloud распознает более десяти языков одновременно и переводит ответы на вопросы. На ее базе можно создавать многоязычных голосовых помощников и роботов для call-центров.
Как работает нейросеть Yandex Cloud
(Видео: YouTube)
Классификация объектов
- Нейросеть российской компании NTechLab, которая работает с городской сетью камер в Москве, позволяет выявлять нарушителей. Также ее можно оптимизировать для идентификации по лицу в общественном транспорте для оплаты и организации безопасной системы пропусков на предприятиях.
- Нейросеть Google Cloud AutoML анализирует исследования биопсии лимфатических узлов в поиске раковых клеток в молочных железах у женщин. А нейросеть SkinVision диагностирует рак кожи по фото с камеры телефона.
- Нейросеть в основе системы помощи водителю Ford BlueCruise распознает объекты на дороге, что позволяет контролировать работу автопилота.
Как работает Ford BlueCruise
(Видео: YouTube)
- Российский сервис YouScan с помощью нейросетей отслеживает упоминание брендов в соцсетях и сегментирует их для аналитики.
Кроме того, нейросети применяются для более узкоспециализированных задач:
- регрессии. Нейронные сети помогают прогнозировать биржевые курсы, оценивать стоимость имущества и так далее;
- прогнозирования. Например, нейросети широко применяются в банкинге, чтобы оценить платежеспособность новых заемщиков;
- кластеризации. Нейросети помогают исследователям и специалистам big data сортировать большие объемы данных в условиях, когда конечное количество классов неизвестно. Например, кластеризация применяется для выявления классов картинок.
Нейросеть CLIP от OpenIA распознает и описывает изображения
(Фото: openai.com)
На простейшем уровне такая функция реализована в любом современном смартфоне, она позволяет автоматически сортировать фото и видео по папкам и выдавать пользователям тематические подборки.
Способности нейросетей постоянно эволюционируют. Так, существующая система StyleGAN уже содержит базовые знания о 3D-моделировании. После дообучения ее можно будет применять для создания 3D-объектов и новых возможностей в 3D-печати.
Как обучают нейросети
Стандартный процесс обучения нейросетей включает в себя несколько этапов.
- Отправка информации. Для старта обучения нейросети требуется выборка данных. Чем больше задач в итоге должна выполнять нейросеть, тем эта выборка должна быть больше. В процессе обучения алгоритмы отвечают на поставленный вопрос с помощью формул и числовых коэффициентов.
- Преобразование информации. Когда входные нейроны нейросети получают выборку, они преобразуют ее и передают дальше. При этом содержание информации превращается в числовые коэффициенты. Для этого применяются формулы с коэффициентами, которые устанавливают авторы обучения. Именно они решают, сколько будет «весить» каждый обучающий признак и т.д.
- Обработка информации. Каждому нейрону также присваивается «вес», который показывает, насколько важны его ответы. Во время обучения «веса» автоматически меняются и балансируются.
- Получение результата. Нейросеть выдает набор формул и чисел, которые преобразуются в ответ. При этом он не конкретный, а скорее показывает вероятность. Например, если для изображения мужчины установлено значение 0, а женщины — 1, то результат 0,67 будет означать «скорее всего, это женщина».
Само обучение бывает контролируемым и глубоким. В первом случае специалисты по работе с данными загружают для обучения нейросети помеченные наборы данных, которые заранее содержат правильный ответ. В процессе обучения нейросеть накапливает знания, а затем получает новые данные, чтобы построить уже свои предположения.
При глубоком обучении специалист по работе с данными предоставляет нейросети только необработанные данные, а та самостоятельно извлекает функции и обучается независимо. Если результат неудовлетворительный, то цикл обучения повторяется снова, пока нейросеть не будет давать корректные ответы.
Специалисты по нейросетям
Разработчик нейронных сетей — это специалист, который создает архитектуру, а также решает теоретические и прикладные задачи систем искусственного интеллекта. Он, в частности, проектирует методики машинного обучения и ведет аналитическую работу в области специализированного программного обеспечения.
Чем занимается специалист по нейронным сетям
Основные задачи такого специалиста включают:
- разработку архитектуры нейросетей для решения конкретных задач;
- обучение нейросетей;
- реализацию алгоритмов машинного обучения;
- визуализацию данных;
- оптимизацию уже работающих моделей;
- поиск максимально соответствующей определенной задаче архитектуры нейросетей с ее последующей адаптацией;
- изучение и аналитику сферы работы нейросети, просчет рисков ее внедрения;
- разработку программ для поддержания работы нейронной сети;
- разработку и внедрение новых функций для существующих продуктов или услуг с использованием методов ИИ.
Как стать специалистом по нейросетям
Нейросети и ИИ представляют собой узкую специализацию в направлении Data Science. Поэтому процесс обучения должен стартовать с изучения науки больших данных. Обучение может быть:
- самостоятельным. Плюс такого метода — дешевизна и доступность источников. Так, на YouTube можно найти видеокурсы по нейросетям. Минусы: в таком подходе нет системности, а полученные навыки могут оказаться невостребованными у работодателя;
- в онлайн- или офлайн-формате. Выучиться на дата-сайентиста можно как в университете, так и на специализированном курсе.
Для работы в отрасли потребуются знания в области математики, статистики и основ программирования: знание языка Python, навыки работы с Linux, библиотеками Python для Data Science, в том числе Numpy, Matplotlib, Scikit-learn, навыки работы с базами данных, библиотеками машинного обучения PyTorch и TensorFlow.
Специалист по нейросетям должен быть знаком с передовыми методами разработки программного обеспечения, особенно с теми, которые касаются проектирования системы, контроля версий, тестирования и анализа требований. Также ему потребуются знания в области Data Science, такие как моделирование данных, оценка алгоритмов и моделей прогнозирования. Наконец, для презентации работы нейросети потребуется пользоваться технологиями пользовательского интерфейса, использовать диаграммы или визуализации.
Поскольку дисциплины искусственного интеллекта, глубокого обучения, машинного обучения и науки о данных развиваются быстро, любой профессионал, который хочет оставаться востребованным, должен непрерывно учиться новому.
Востребованность специалиста по нейросетям
Аналитики International Data Corporation подсчитали, что мировой рынок решений в сфере искусственного интеллекта будет расти в среднем на 18,6% ежегодно в период с 2022 по 2026 год. По мнению авторов исследования McKinsey, именно прикладной искусственный интеллект и внедрение машинного обучения стали двумя наиболее значимыми технологическими тенденциями на рынке ИИ. В 2022 году компании, занимающиеся генеративным искусственным интеллектом, привлекли $1,37 млрд — это почти столько же, сколько за предыдущие пять лет.
Востребованность специалистов по нейросетям постоянно растет. По данным сервиса по поиску работы HeadHunter за 2022 год, на российском рынке наблюдается нехватка соискателей на должности разработчиков систем искусственного интеллекта — на одну вакансию в этой сфере претендуют не больше двух кандидатов. По словам представителей рынка, проблема сохраняется уже в течение трех лет.
Начинающий специалист может претендовать на зарплату от 40 тыс. руб. в месяц, а профессионал — от 150 тыс. руб.