Машинное обучение справляется с огромными наборами данных: алгоритм преодолевает эксабайтный барьер

Машинное обучение справляется с огромными наборами данных: алгоритм преодолевает эксабайтный барьер
11:00, Сентябрь 18, 2023 Алгоритм машинного обучения продемонстрировал способность обрабатывать данные, объем которых превышает доступную память компьютера, путем определения ключевых характеристик огромного набора данных и разделения их на управляемые пакеты, которые не перегружают компьютерное оборудование. Алгоритм, разработанный в Национальной лаборатории Лос-Аламоса, установил мировой рекорд по факторизации огромных наборов данных во время тестового запуска на саммите Национальной лаборатории Ок-Ридж, пятом по скорости суперкомпьютере в мире. Одинаково эффективный на ноутбуках и суперкомпьютерах, высокомасштабируемый алгоритм устраняет узкие места оборудования, которые не позволяют обрабатывать информацию из приложений с большим объемом данных в области исследований рака , спутниковых изображений , социальных сетей, науки о национальной безопасности и исследованиях землетрясений, и это лишь некоторые из них. «Мы разработали реализацию метода факторизации неотрицательной матрицы без использования памяти, которая позволяет факторизовать большие наборы данных , чем это было возможно ранее на данном оборудовании», — сказал Исмаэль Бурейма, физик-вычислитель из Национальной лаборатории Лос-Аламоса. Бурейма — первый автор статьи в « Журнале суперкомпьютеров» о рекордном алгоритме. «Наша реализация просто разбивает большие данные на более мелкие единицы, которые можно обрабатывать с использованием доступных ресурсов. Следовательно, это полезный инструмент для работы с экспоненциально растущими наборами данных». «Традиционный анализ данных требует, чтобы данные укладывались в ограничения памяти. Наш подход бросает вызов этому понятию», — сказал Маниш Бхаттараи, ученый в области машинного обучения из Лос-Аламоса и соавтор статьи. «Мы представили решение, связанное с нехваткой памяти. Когда объем данных превышает доступную память, наш алгоритм разбивает его на более мелкие сегменты. Он обрабатывает эти сегменты по одному, циклически перемещая их в память и из нее. Этот метод дает нам уникальную возможность эффективно управлять и анализировать чрезвычайно большие наборы данных». Распределенный алгоритм для современных и гетерогенных высокопроизводительных компьютерных систем может быть полезен на аппаратном обеспечении, таком маленьком, как настольный компьютер, или на таком большом и сложном оборудовании, как Chicoma, Summit или будущие суперкомпьютеры Venado, сказал Бурейма. «Вопрос больше не в том, можно ли факторизовать большую матрицу, а в том, сколько времени займет факторизация», — сказал Бурейма. Реализация в Лос-Аламосе использует преимущества аппаратных функций, таких как графические процессоры, для ускорения вычислений и быстрого соединения для эффективного перемещения данных между компьютерами. В то же время алгоритм эффективно выполняет несколько задач одновременно. Факторизация неотрицательной матрицы — это еще одна версия высокопроизводительных алгоритмов, разработанных в рамках проекта SmartTensors в Лос-Аламосе. По словам Буреймы, в машинном обучении факторизация неотрицательной матрицы может использоваться как форма обучения без учителя для извлечения смысла из данных. «Это очень важно для машинного обучения и анализа данных, поскольку алгоритм может идентифицировать объяснимые скрытые особенности данных, которые имеют особое значение для пользователя». Рекордный пробег В ходе рекордного эксперимента команды из Лос-Аламоса алгоритм обработал плотную матрицу размером 340 терабайт и разреженную матрицу размером 11 экзабайт, используя 25 000 графических процессоров. «Насколько нам известно, мы приближаемся к эксабайтной факторизации, чего еще никто не делал», — сказал Боян Александров, соавтор новой статьи и физик-теоретик из Лос-Аламоса, возглавлявший команду, разработавшую платформу искусственного интеллекта SmartTensors. Разложение или факторизация данных — это специализированный метод интеллектуального анализа данных, направленный на извлечение соответствующей информации и упрощение данных до понятных форматов. Бхаттараи далее подчеркнул масштабируемость их алгоритма, отметив: «Напротив, традиционные методы часто сталкиваются с узкими местами, главным образом из-за задержки в передаче данных между процессорами компьютера и его памятью». «Мы также показали, что вам не обязательно нужны большие компьютеры», — сказал Бурейма. «Масштабирование до 25 000 графических процессоров — это здорово, если вы можете себе это позволить, но наш алгоритм будет полезен на настольных компьютерах для того, что вы раньше не могли обработать»....
Читать полный текст на android-robot.com  

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Машинное обучение позволяет выполнять точные расчеты электронной структуры в больших масштабах

Машинное обучение позволяет выполнять точные расчеты электронной структуры в больших масштабах Машинное обучение позволяет выполнять точные расчеты электронной структуры в больших масштабах для моделирования материалов. Расположение электронов в веществе, известное как электронная структура, играет решающую роль в фундаментальных, но также и в прикладных исследованиях, таких как раз …

Интернет и Игры 16:20, Июль 10, 2023 | android-robot.com
Изучается причинно-следственное машинное обучение  новое достижение искусственного интеллекта в здравоохранении

Изучается причинно-следственное машинное обучение — новое достижение искусственного интеллекта в здравоохранении Искусственный интеллект делает успехи на медицинской арене. Когда дело доходит до методов визуализации и расчета рисков для здоровья, существует множество методов искусственного интеллекта, находящихся на этапах разработки и тестирования. Везде, где речь идет о распознавании закономерносте …

Наука и Технологии 04:30, Апрель 24, 2024 | android-robot.com
AMD преодолевает препятствия в продаже в США чипов искусственного интеллекта

AMD преодолевает препятствия в продаже в США чипов искусственного интеллекта AMD преодолевает препятствия в продаже в США чипов искусственного интеллекта, специально предназначенных для Китая. США работают над ограничением доступа Китая к новейшим полупроводникам, которые могут разрабатывать модели искусственного интеллекта. AMD — последний производитель чипов, кот …

Наука и Технологии 14:10, Март 16, 2024 | android-robot.com
В России объявили фиксированные цены на iPhone 15 в рублях: побит барьер в 300 000 рублей

В России объявили фиксированные цены на iPhone 15 в рублях: побит барьер в 300 000 рублей Компания Caviar, известная своими невероятно дорогими вариантами популярных смартфонов, торжественно объявила о том, что «первой в России выставила цены на линейку iPhone 15». Ранее МТС уже начал принимать предзаказы с предоплатой в 50 тысяч рублей, но конечные цены так и не ог …

Наука и Технологии 13:10, Август 31, 2023 | ixbt.com
Caviar объявила фиксированные цены на iPhone 15 в рублях: побит барьер в 300 000 рублей

Caviar объявила фиксированные цены на iPhone 15 в рублях: побит барьер в 300 000 рублей Компания Caviar, известная своими невероятно дорогими вариантами популярных смартфонов, торжественно объявила о том, что «первой в России выставила цены на линейку iPhone 15». Ранее МТС уже начал принимать предзаказы с предоплатой в 50 тысяч рублей, но конечные цены так и не ог …

Наука и Технологии 17:20, Август 31, 2023 | ixbt.com
Совершенствуется алгоритм, основанный на оптимизации автономной парковки автомобиля

Совершенствуется алгоритм, основанный на оптимизации автономной парковки автомобиля Транспортные средства, которые могут управлять сами, были давней целью как в исследованиях в области робототехники, так и в автомобильной промышленности. Хотя различные компании инвестировали в эти автомобили и тестировали их, они до сих пор использовали их только в ограниченном количестве …

Software 19:30, Апрель 1, 2024 | android-robot.com
Открыт алгоритм для увеличения скорости обучения искусственного интеллекта

Открыт алгоритм для увеличения скорости обучения искусственного интеллекта Ученые из Tinkoff Research открыли алгоритм для увеличения скорости обучения искусственного интеллекта в 20 раз. Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research открыли новый алгоритм для обучения ИИ. Новый метод, названный SAC-RND[1], обучает роботов в 2 …

Интернет и Игры 02:00, Август 11, 2023 | android-robot.com
Алгоритм HVAC может обеспечить тепловой комфорт для жителей здания с меньшим выбросом углекислого газа

Алгоритм HVAC может обеспечить тепловой комфорт для жителей здания с меньшим выбросом углекислого газа Поскольку организации работают над сокращением энергопотребления и связанных с этим выбросов углекислого газа, одной из областей, которую еще предстоит оптимизировать, является отопление и охлаждение помещений. Фактически, HVAC, что означает отопление, вентиляция и кондиционирование воздух …

Наука и Технологии 16:10, Октябрь 8, 2023 | android-robot.com
Обучение торговле вместе с Академией Форекс

Обучение торговле вместе с "Академией Форекс" Многим людям известно, что лучшей школой трейдинга считается «Академия Форекс». Именно она поможет сделать торговлю на Форекс прибыльной. Существует много факторов, которые нужно учитывать в трейдинге. Главное это знание технического и фундаментального анализа, системы управлен …

Экономика 10:40, Январь 20, 2024 | versiya.info
Лучшее музыкальное обучение в Минске по хорошим ценам

Лучшее музыкальное обучение в Минске по хорошим ценам Постепенно, по неведомой причине, в СНГ становится все меньше музыкальных школ, люди все меньше интересуются музыкальными инструментами и все реже отдают детей в муз.школы. С другой стороны, выбирая место для обучения ребенка, люди отдают предпочтение лучшему варианту на рынке, и одной из …

Наука и Технологии 23:50, Март 23, 2023 | igeek.ru
Эффект музыки на здоровье и обучение: исследования и практическое применение

Эффект музыки на здоровье и обучение: исследования и практическое применение В последнее время все больше исследований показывают, что музыка может оказывать положительный эффект на здоровье и обучение. В данной статье будет рассмотрено, как музыка влияет на организм и ум, а также показано ее практическое применение в медицине и образовании. Здоровье Музыка оказыва …

Медицина 22:40, Май 4, 2023 | versiya.info
Принцесса Испании Леонор отправилась на трёхлетнее обучение в военную академию

Принцесса Испании Леонор отправилась на трёхлетнее обучение в военную академию 17-летняя принцесса Астурийская Леонор прибыла на обучение в Генеральную академию Сарагосы, где на протяжении трёх лет будет проходить военную подготовку. Король Фелипе VI, королева Летиция и сестра Леонор инфанта София проводили наследницу престола в учебное заведение.Король Фелипе VI, пр …

Звёзды 18:10, Август 21, 2023 | spletnik.ru
Бесплатное обучение от проекта Богатырянский источник, тренинги  Вадима Ефремова

Бесплатное обучение от проекта «Богатырянский источник», тренинги Вадима Ефремова Друзья, должна сообщить, что моя жизнь каким-то совершенно волшебным образом изменилась, когда я узнала про проект «Богатырянский источник». Я работаю в библиотеке, зарплата 12 тысяч рублей. Работой довольна, но деньги, сами понимаете, небольшие: приходится на всём экономить. Искать …

Аналитические Статьи 10:03, Июль 5, 2023 | super-interes.ru
Новая методика LiGO ускоряет обучение больших моделей машинного обучения

Новая методика LiGO ускоряет обучение больших моделей машинного обучения Не секрет, что ChatGPT от OpenAI обладает невероятными возможностями — например, чат-бот может писать стихи, напоминающие шекспировские сонеты, или отлаживать код для компьютерной программы. Эти возможности стали возможными благодаря массивной модели машинного обучения, на которой построен …

Интернет и Игры 01:50, Март 23, 2023 | android-robot.com
Обучение на протяжении всей жизни станет основой следующего поколения автономных устройств

Обучение на протяжении всей жизни станет основой следующего поколения автономных устройств Поищите в Интернете «обучение на протяжении всей жизни», и вы найдете подробный список приложений, которые научат вас шить, играть в шахматы или даже говорить на новом языке. Однако в развивающихся областях искусственного интеллекта (ИИ) и автономных устройств «обучение на протяжении всей …

Software 17:10, Февраль 5, 2024 | android-robot.com
Все о техническом анализе финансовых данных

Все о техническом анализе финансовых данных Все начинающие бизнесмены или опытные предприниматели ежедневно сталкиваются с большим количеством проблем, которые не так просто решить. Сейчас многие подумают, прочем же бизнесмен здесь, ведь работой предприятия занимается менеджер. Да, мысль логична с одной стороны, но с другой хороший …

Экономика 14:40, Август 6, 2023 | versiya.info
Аудит информационной безопасности: обеспечение защиты данных

Аудит информационной безопасности: обеспечение защиты данных Аудит информационной безопасности является важным инструментом для обеспечения защиты данных и предотвращения угроз в сфере информационных технологий. В этой статье мы рассмотрим, что такое аудит информационной безопасности, как он проводится и почему он является неотъемлемой частью работы …

Наука и Технологии 18:30, Июль 13, 2023 | astera.ru
Twitter обвиняет Microsoft в неправомерном использовании данных

Twitter обвиняет Microsoft в неправомерном использовании данных Адвокат владельца Twitter Илона Маска обвинил Microsoft в неправомерном использовании данных сервиса и потребовал от софтверного гиганта провести аудит. Письмо в первую очередь касается, казалось бы, узкого набора предполагаемых нарушений со стороны Microsoft при извлечении информации из б …

Интернет и Игры 23:30, Май 25, 2023 | android-robot.com
EUR/USD коррективно снижается до 1,0980 после публикации данных

EUR/USD коррективно снижается до 1,0980 после публикации данных EUR/USD сейчас разворачивает первоначальный рост и возвращается к отметке 1.0980. Данные по занятости в несельскохозяйственном секторе США в апреле преподнесли сюрприз. Уровень безработицы снизился до 3,4%. EUR/USD испытывает дальнейшее понижательное давление и быстро теряет первоначальный …

Forex 01:40, Май 6, 2023 | fxteam.ru
EUR/GBP растет вблизи 0.8600, внимание сосредоточено на данных по IFO Германии

EUR/GBP растет вблизи 0.8600, внимание сосредоточено на данных по IFO Германии Кросс EUR/GBP получил поддержку в преддверии экономических данных из Германии. Евро столкнулся с проблемами на фоне слабых данных по индексу PMI в Еврозоне. Данные по индексу PMI в Великобритании указали на ускорение роста в конце года. Кросс EUR/GBP торгуется около 0.8600 в начале европей …

Forex 14:30, Декабрь 18, 2023 | fxteam.ru
Клоны ИИ, сделанные из пользовательских данных, представляют сверхъестественные риски

Клоны ИИ, сделанные из пользовательских данных, представляют сверхъестественные риски Представьте, если хотите, цифрового двойника. Клон, который выглядит, говорит и ведет себя точно так же, как вы, созданный из глубин искусственного интеллекта и отражающий все ваши манеры с жуткой точностью. Как бы захватывающе это ни звучало, как бы вы к этому отнеслись? Наше исследование …

Software 08:10, Июнь 11, 2023 | android-robot.com
Российские HSM модули: Новый этап в защите данных платежных систем

Российские HSM модули: Новый этап в защите данных платежных систем В начале 2024 года российские банки столкнулись с важным решением: перейти на оборудование отечественного производства для защиты транзакций по пластиковым картам. Этот шаг в рамках программы импортозамещения не только повышает безопасность финансовых операций, но и открывает новые перспек …

Наука и Технологии 19:40, Апрель 1, 2024 | igeek.ru
EaseUS Todo PCTrans  программа для передачи данных между двумя ПК

EaseUS Todo PCTrans – программа для передачи данных между двумя ПК EaseUS Todo PCTrans – это удобное программное обеспечение, с которым легко можно осуществлять передачу информации с одного компьютера на другой. С помощью этого инструмента передачи вам больше не нужно вручную загружать фотографии, музыку, видео, документы Office, PDF или текстовые ф …

Технологии 03:10, Март 25, 2024 | versiya.info
Стартап в сфере безопасности данных Rubrik планирует IPO в этом году

Стартап в сфере безопасности данных Rubrik планирует IPO в этом году Rubrik Inc., стартап в сфере облачной безопасности и безопасности данных, поддерживаемый корпорацией Microsoft, планирует провести первичное публичное размещение акций в этом году, а роуд-шоу для инвесторов может начаться уже в октябре, пишет Bloomberg со ссылкой на источники.По их словам, …

Деньги, Forex 09:10, Сентябрь 5, 2023 | finam.ru
Microsoft создаст девять новых центров обработки данных в Австралии

Microsoft создаст девять новых центров обработки данных в Австралии Этот шаг является частью плана инвестиций в облачные вычисления и инфраструктуру искусственного интеллекта стоимостью 3,2 миллиарда долларов. Microsoft инвестирует 5 миллиардов австралийских долларов (3,2 миллиарда долларов) в Австралию для расширения своей инфраструктуры облачных вычислен …

Software 11:40, Октябрь 28, 2023 | android-robot.com
Бывшего сотрудника американского генконсульства обвинили в сборе данных об СВО для США. Что рассказали в ФСБ о его деле

Бывшего сотрудника американского генконсульства обвинили в сборе данных об СВО для США. Что рассказали в ФСБ о его деле? Федеральная служба безопасности (ФСБ) России обвинила экс-сотрудника американского генконсульства во Владивостоке Роберта Шонова в сборе для США данных о ходе специальной военной операции (СВО).По данным спецслужбы, Шонов с сентября 2022 года собирал информацию о мобилизации в регионах Рос …

Новости 22:10, Август 28, 2023 | compromat.group
Форекс сегодня: инвесторы готовятся к росту волатильности на фоне выхода ключевых данных

Форекс сегодня: инвесторы готовятся к росту волатильности на фоне выхода ключевых данных Вот что вам нужно знать в четверг, 30 марта: Во второй половине недели на финансовых рынках сохраняется неустойчивая ситуация, при этом инвесторы готовятся к росту волатильности позднее в течение дня. В экономической повестке четверга будут представлены данные по настроениям в деловых круг …

Forex 13:10, Март 30, 2023 | fxteam.ru
Форекс сегодня: Доллар США остается под давлением перед выходом данных среднего уровня

Форекс сегодня: Доллар США остается под давлением перед выходом данных среднего уровня Вот что вам нужно знать во вторник, 4 апреля: После отскока, наблюдавшегося в начале недели, индекс доллара США развернулся на юг на разочаровывающих данных по индексу PMI в производственном секторе ISM и в понедельник закрылся глубоко на отрицательной территории. Индекс продолжил свое пад …

Forex 13:00, Апрель 4, 2023 | fxteam.ru
Всего 1000 евро, и вы получаете карту с нитями ДНК, на которой можно хранить... 1 КБ данных

Всего 1000 евро, и вы получаете карту с нитями ДНК, на которой можно хранить... 1 КБ данных Не секрет, что молекулу ДНК можно использовать для хранения данных. Всего один грамм ДНК способен хранить сотни петабайт данных. И хотя это сугубо теоретические расчёты, компания Biomemory уже сейчас предлагает готовый продукт на основе такого метода. Biomemory представила специальную карт …

Наука и Технологии 20:00, Январь 21, 2024 | ixbt.com
Региональная команда Брянской области завершила обучение методам бережливого производства на базе Регионального центра компетенций в рамках националь

Региональная команда Брянской области завершила обучение методам бережливого производства на базе Регионального центра компетенций в рамках национального проекта «Производительность труда». На базе Регионального центра компетенций в сфере производительности труда Брянской области в рамках реализации нацпроекта «Производительность труда» АНО «Федеральный центр компетенций в сфере производительности труда» (ФЦК) организовано обучение региональной команды Брянской области метода …

Новости 21:00, Май 25, 2023 | bug32.ru
Региональная команда Брянской области завершила обучение методам бережливого производства на базе регионального центра компетенций в рамках националь

Региональная команда Брянской области завершила обучение методам бережливого производства на базе регионального центра компетенций в рамках национального проекта «производительность труда» На базе Регионального центра компетенций в сфере производительности труда Брянской области в рамках реализации нацпроекта «Производительность труда» АНО «Федеральный центр компетенций в сфере производительности труда» (ФЦК) организовано обучение региональной команды Брянской области метода …

Новости 07:40, Май 26, 2023 | desnyanskaya-pravda.ru
Кросс AUD/JPY поднялся выше 99.90 на фоне благоприятных австралийских данных и осторожной позиции Банка Японии

Кросс AUD/JPY поднялся выше 99.90 на фоне благоприятных австралийских данных и осторожной позиции Банка Японии Кросс AUD/JPY в четверг третий день подряд торгуется на положительной территории на 99.92. Осторожный прогноз Банка Японии и благоприятные австралийские данные оказывают поддержку кроссу. Индекс PMI сферы услуг Австралии от Judo Bank выросл до 54.4 в марте против 53.5 ранее. Кросс AUD/JPY …

Forex 11:50, Апрель 4, 2024 | fxteam.ru
Искусственный интеллект может прогнозировать нагрузку на электросети на основе данных об использовании автомобильных и железных дорог.

Искусственный интеллект может прогнозировать нагрузку на электросети на основе данных об использовании автомобильных и железных дорог. Искусственный интеллект может прогнозировать нагрузку на электросети на основе данных об использовании автомобильных и железных дорог. Чтобы удовлетворить спрос и справляться с пиками потребления, поставщики электроэнергии должны иметь возможность прогнозировать нагрузку на сеть. Группа уч …

Наука и Технологии 23:10, Май 2, 2023 | android-robot.com
Названы самые надёжные двигатели Ford в истории. Новейший рейтинг составлен на основании данных JD Power и Carsurvey

Названы самые надёжные двигатели Ford в истории. Новейший рейтинг составлен на основании данных JD Power и Carsurvey Компания Ford завоевала хорошую репутацию благодаря своей линейке надежных двигателей. Например, 5,4-литровый Triton V8 известен как настоящая рабочая лошадка и может проехать более 600 000 км при должном уходе. Также есть множество других надежных вариантов, которые могут проехать 800 000 …

Наука и Технологии 12:10, Март 13, 2024 | ixbt.com
Эксперты Ассоциации АБИСС обсудили актуальные темы обеспечения информационной безопасности сферы КИИ и защиты персональных данных

Эксперты Ассоциации АБИСС обсудили актуальные темы обеспечения информационной безопасности сферы КИИ и защиты персональных данных На прошлой неделе состоялся пресс-завтрак, посвященный наиболее обсуждаемым вопросам обеспечения информационной безопасности сферы КИИ и защиты персональных данных. Организатором встречи стала Ассоциация пользователей стандартов по информационной безопасности АБИСС. Открывал встречу Алекса …

Наука и Технологии 22:40, Апрель 8, 2023 | digimedia.ru