Нейросеть от Meta узнает 4017 языков по устной речи и ответит на 1107 из них

Нейросеть от Meta узнает 4017 языков по устной речи и ответит на 1107 из них
14:30, Май 25, 2023 Компания Meta* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе. Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них. Команда инженеров из компании Meta под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями. Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов. Для обучения использовали нейросеть архитектуры wav2vec 2.0. Сначала ее предобучили, чтобы она могла превращать аудиозаписи в векторные представления. Дело в том, что нейросети работают не с сырыми записями, а с векторами — наборами чисел. Поэтому нужен механизм для превращения аудиозаписей в вектора из чисел, причем похожие аудиозаписи должны быть представлены геометрически близкими векторами. Для получения векторных представлений можно использовать любые аудиозаписи, главное чтобы их было много. Поэтому ученые объединили второй религиозный датасет с другими большими аудиодатасетами, в том числе Multilingual Librispech, CommonVoice, VoxLingua-107, BABEL и VoxPopuli. Всего в выборку попала 491 тысяча часов аудиозаписей без текстов. После предобучения получилась готовая модель MMS. Затем авторы натренировали MMS превращать речь в текст, дообучив ее на первом религиозном датасете с аудиозаписями и текстами. В разных частях света распространены разные типы языков, поэтому авторы определили точность модели для языков с разных континентов. Она научилась распознавать речь на 1107 языках со средней точностью по континенту 97 процентов. Авторы также проверили качество распознавания речи на нерелигиозных аудиозаписях. MMS сравнили с лучшими моделями для распознавания речи Whisper от OpenAI и USM от Google на датасете FLEURS. MMS ошибалась в два раза меньше, чем Whisper и на 6 процентов меньше, чем USM. В задаче определения языка MMS оценивали на датасетах FLEURS, VoxLingua-107, BABEL и VoxPopuli, в которые входит до 107 языков. К предобученной модели приделали простой линейный слой-классификатор, который натренировали определять язык на аудиозаписи. Модель показала такое же качество, как и конкурентные модели. При увеличении числа распознаваемых языков до 4000 с помощью дообучения на религиозных датасетах, качество модели падает совсем немного, с 94 до 93 и с 84 до 80 процентов на разных датасетах. Также авторы оценили, насколько хорошо MMS генерирует речь на 1107 языках, которые она умеет превращать в текст. Для этого модель обучили на архитектуре VITS — на момент создания MMS эта нейросеть показывала лучшие результаты по генерации звучащей речи на трех языках: английском, португальском и французском. Авторы масштабировали ее до 1107 языков, но в отличие от других задач, обучали нейросеть для каждого языка по отдельности. Качество модели оценили на языках по континентам. Средняя точность генерации речи по континенту составила 98 процентов. Лучше всего модель говорит на европейских и южноамериканских языках, хуже всего — на африканских. Наконец, ученые проверили, не повлиял ли характер религиозных датасетов на качество модели. Для этого нейросеть обучили отдельно на религиозных текстах и на повседневной речи из датасета FLEURS. Затем каждая модель должна была преобразовать звучащую повседневную речь из датасета FLEURS в текст. Хотя в обучающей выборке MMS было много религиозных терминов, в текстах она использовала их ненамного (менее чем на процент) чаще, чем модель, обучения на нерелигиозном датасете. На графике показана частота религиозных терминов в обучающей выборке и при превращении речи в текст. Разница между двумя моделями почти не заметна, хотя и немного отличается для некоторых языков. Качество модели оценивали в трех экспериментах, но задач по пониманию и генерации звучащей речи существует гораздо больше. В работе не указано, насколько хорошо большая мультиязычная модель проявила бы себя в более сложных задачах, таких как перевод, определение темы высказывания или поиск ключевых слов. Хотя MMS работает с большим числом языков, чем конкурентные модели, она пока не понимает все 7000 языков мира. Ученые планируют добавить в модель более редкие языки с малым количеством носителей. Они считают, что это может помочь спасти исчезающие языки от вымирания. Кроме того, в данных недостаточно представлены диалекты разных языков. В даркнете тоже говорят на своем языке, вернее на сленге. Обычные языковые модели плохо его понимают. Южнокорейские ученые обучили нейросеть DarkBERT читать тексты из даркнета и выполнять по ним задачи, связанные с кибербезопасностью. *Деятельность компании Meta запрещена в России....
Читать полный текст на nplus1.ru  

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Все, что показали на Meta* Connect: Quest 3, умные очки и Meta* AI

Все, что показали на Meta* Connect: Quest 3, умные очки и Meta* AI Компания Meta** только что завершила свое выступление на конференции 2023 Connect. Как и было обещано, компания рассказала много нового о своей гарнитуре Quest 3. Она также анонсировала новейшую пару «умных» очков, созданных в сотрудничестве с Ray-Ban. Удивительно, но генеральный …

Наука и Технологии 05:30, Сентябрь 28, 2023 | itzine.ru
Meta анонсирована VR-шлем Quest 3 за $500

Meta анонсирована VR-шлем Quest 3 за $500 Генеральный директор Марк Цукерберг анонсировал гарнитуру виртуальной реальности Meta Quest 3. Новая гарнитура является «самой мощной гарнитурой компании». Об этом Цукерберг рассказал в своём Instagram-аккаунте. Стоит отметить, что анонс новинки Meta состоялся прежде чем Apple рассказала о …

Гаджеты 12:40, Июнь 2, 2023 | mobidevices.com
Влияние информационных технологий на сохранение и развитие национальных языков: новые возможности

Влияние информационных технологий на сохранение и развитие национальных языков: новые возможности С развитием информационных технологий возникает неоднозначное влияние на сохранение и развитие национальных языков. С одной стороны, информационные технологии предоставляют новые возможности для популяризации, сбережения и развития национальных языков. С другой стороны, появление мирового …

Экономика 04:20, Октябрь 7, 2023 | versiya.info
Возможности изучения национальных языков вне академической сферы: курсы, клубы, онлайн-ресурсы

Возможности изучения национальных языков вне академической сферы: курсы, клубы, онлайн-ресурсы В современном мире, где глобализация и межкультурное взаимодействие становятся все более значимыми, изучение национальных языков приобретает все большую актуальность. Познание языка другой культуры позволяет не только легче и глубже понять местные обычаи и традиции, но и обогатить свой кру …

Экономика 11:40, Сентябрь 12, 2023 | versiya.info
Шантажировать меня деньгами Идите к черту. Весь мир узнает, что эти рекламодатели убили компанию,  Илон Маск ответил на уход рекламодателей из X/Twit

«Шантажировать меня деньгами? Идите к черту. Весь мир узнает, что эти рекламодатели убили компанию», — Илон Маск ответил на уход рекламодателей из X/Twitter Выступая в среду на саммите DealBook 2023 в Нью-Йорке, Илон Маск, владелец социальной сети X (ранее Twitter), высмеял рекламодателей, покидающих платформу из-за антисемитских сообщений, которые он там распространял. «А если кто-нибудь попытается шантажировать меня рекламой? Шантажиро …

Наука и Технологии 08:20, Ноябрь 30, 2023 | ixbt.com
Норвегия решила штрафовать Meta на $100 тысяч ежедневно, пока та не изменит рекламную политику

Норвегия решила штрафовать Meta на $100 тысяч ежедневно, пока та не изменит рекламную политику Компания Meta (признана экстремистской и запрещена в РФ – прим. Finam.ru) вскоре получит ежедневный штраф в размере 100 000 долларов за нарушение правил рекламы в Норвегии, пишет портал Quartz.Как отмечается, норвежское управление по защите данных уже наложило временные ограничения на Meta …

Деньги, Forex 04:50, Июль 23, 2023 | finam.ru
Нейросеть занялась взяточничеством

Нейросеть занялась взяточничеством Rucriminal.info стало известно об истории с сильным коррупционным «запахом». Член совета «Деловой России», основатель модной ритейл-нейросети VIJU, глава ГК «Евросервис» Сергей Малафейкин был изобличен в даче взятки сотрудникам ФНС РФ. Собраны свидетельс …

Промышленность и Энергетика 02:30, Сентябрь 4, 2023 | rucriminal.info
Нейросеть помогает эндокринологам

Нейросеть помогает эндокринологам Разработка нейросетей, которые, обучившись на размеченных медицинских данных, помогают врачам ставить диагнозы и даже вырабатывают рекомендации по лечению — одном из самых передовых направлений использования технологий искусственного интеллекта в медицине. Проект такого рода недавно …

Software 18:40, Июль 7, 2023 | android-robot.com
МТС разрабатывает собственную нейросеть для программистов

МТС разрабатывает собственную нейросеть для программистов МТС приступила к созданию собственной генеративной сети Software 2.0, которая сократит время на разработку программного кода на 40% и позволит сэкономить до 4 млрд рублей в год, сообщает пресс-служба компании. Отмечается, что данную технологию уже тестируют команды ключевых продуктов экоси …

Промышленность и Энергетика 11:00, Июль 26, 2023 | finam.ru
Нейросеть подслушивает нажатия клавиш с точностью 95%

Нейросеть «подслушивает» нажатия клавиш с точностью 95% Недавнее исследование, опубликованное исследователями Джошуа Харрисоном, Эхсаном Торейни и Марьям Мернежад, выявило «акустическую атаку по боковому каналу на основе глубокого обучения», которая может точно классифицировать нажатия клавиш ноутбука, записанные с помощью находящегося поблизос …

Гаджеты 00:30, Август 22, 2023 | mobidevices.com
В России создали нейросеть для прогноза риска инсульта по глазам

В России создали нейросеть для прогноза риска инсульта по глазам Российские учёные разработали нейросеть, которая определяет риск инсульта по сосудам глаз Учёные из Института персонализированной кардиологии Сеченовского Университета Минздрава России и специалисты из Института компьютерных технологий и информатики РАН создали специальную нейросеть под на …

Наука и Технологии 22:50, Сентябрь 21, 2023 | ferra.ru
Нейросеть обучили распознавать рукописный номер банковской карты

Нейросеть обучили распознавать рукописный номер банковской карты В России разработано AI-решение для считывания номеров банковских карт, записанных в любом формате. Клиентам банков достаточно будет навести камеру смартфона на печатный или рукописный номер банковской карты, чтобы совершить перевод или оплатить покупку в торговой точке. Нейросеть распозна …

Наука и Технологии 11:20, Апрель 16, 2023 | android-robot.com
Нейросеть Товарищ майор определит владельцев анонимных Telegram-каналов

Нейросеть «Товарищ майор» определит владельцев анонимных Telegram-каналов В России разработали нейросеть, которая призвана идентифицировать администраторов и владельцев анонимных каналов, изучая их в Telegram. Об этом рассказало издание «Известия» со ссылкой на пресс-службу Национальной технологической инициативы (НТИ) и компанию разработчика T.Hunte …

Наука и Технологии 13:40, Декабрь 20, 2023 | ixbt.com