Казахский ChatGPT, лечение от рака и проект КНБ: для чего используется суперкомпьютер в Казахстане
В Казахстане суперкомпьютеры есть в 6 университетах и научных институтах. Они предназначены для проведения исследований и разработки технологий в области искусственного интеллекта. Как эти мощные машины применяются на практике, разбиралась корреспондент Kazinform.
Как рассказал старший эксперт службы инфраструктуры дата-центров Назарбаев Университета Борис Потапчук, суперкомпьютер - это некая общность вычислительных узлов с разными характеристиками, которые могут обмениваться как вычислительными, так и информационными ресурсами.
В НУ имеется комплекс суперкомпьютеров, среди которых одни работают на базе NVIDIA DGX, другие - HPE Apollo. Это специальные платформы или серверные системы, которые используются для разных целей.
По словам эксперта, NVIDIA DGX - одни из лучших серверов в мире, потому что у них имеется своя инфраструктура и свой маркетплейс. В частности, суперкомпьютеры DGX предназначены для задач с интенсивными вычислениями, например, для обучения моделей искусственного интеллекта. В то время как серверы Apollo используются для расчетов сложных физико-химических процессов.
- В одно время суперкомпьютеры Apollo использовались для расчетов погоды и нефтехимической отрасли, газодобычи, нефтеразведки и так далее. Но, конечно, надо понимать, что в университете рассчитывалась лишь какая-то маленькая часть, потому что наши мощности полностью этого делать не позволяют, - отметил Борис Потапчук.
Кроме того, отличие этих систем заключается в возможностях масштабирования. Суперкомпьютеры DGX можно расширять только путем добавления к ним таких же серверов. В свою очередь, серверы Apollo позволяют подключать к ним обычные компьютеры, которые дешевле и проще в эксплуатации.
Также суперкомпьютеры Apollo могут находиться в разных городах, тогда как для DGX физическое разнесение очень проблематично, они должны стоять максимально близко друг к другу, отмечает эксперт.
- Это обусловлено тем, что у DGX очень высокие требования к скорости передачи данных. У Apollo такого нет. В моделях DGX скорость передачи данных может достигать 40 Гбит в секунду, а у Apollo - 1 Гбит в секунду, - пояснил Борис Потапчук.
Процесс закупки был сложным
По словам эксперта, университет начал закупать суперкомпьютеры из США в 2018 году, каждый год обновляя их модели. Их стоимость он назвать не смог, однако отмечает, что такие системы стоят миллионы долларов.
- Там был сложный процесс закупки. Вообще планировалось с 2016 года их закупать, но было очень много финансовых нюансов. Кроме того, нюанс был в том, что компания использует некоторые технологии, которые запрещены к экспорту, - сказал Борис Потапчук.
Он сообщил, что один из первых проектов с использованием этих суперкомпьютеров был связан с разработкой алгоритмов и механизмов по вскрытию SSL-ключей, то есть шифрования, которое сейчас используется в криптомире.
- Все наши банковские приложения, сайты, виртуальные валюты - все в той или иной степени используют эти самые алгоритмы. Проект был, но чем он закончился не знаю, потому что его забрал к себе Комитет национальной безопасности, что логично, ведь это и был их проект. Но работа над ним была изначально сложной. Насколько я знаю, ближе всего даже не к вскрытию, а к нащупыванию механизмов вскрытия этих ключей подошел Израиль. Двое из трех разработчиков шифрования - евреи, - отметил эксперт.
Доступ имеют ученые, студенты и учителя
Сегодня суперкомпьютер в основном используется Институтом умных систем и искусственного интеллекта ISSAI при НУ. Главный их проект - разработка первой версии большой языковой модели на казахском языке KazLLM.
Ранее подробнее об этом проекте аналитическому обозревателю Kazinform рассказала заместитель директора по внешним связям и продукту, старший аналитик данных ISSAI Мадина Абдрахманова.
- Основной задачей при покупке суперкомпьютера было обучение больших языковых моделей для казахского, турецкого, английских языков. Сегодня очень актуален ChatGPT, а мы создали первую версию модели ISSAI KazLLM, то есть, ядро, которое лежит в основе таких продуктов, как ChatGPT и Gemini. Суперкомпьютер помогает защитить концепцию, подтвердить ее и ввести в производство, - рассказал инженер вычислительной техники ISSAI Макат Тлебалиев.
Кроме того, Институт получает запросы от различных госорганизаций для выполнения определенных задач.
- Были проекты по обработке изображений с Қазақстан Ғарыш Сапары, также был проект Smart City, по сбору данных с городских камер для выявления узких мест. Создавалась симуляция города и карта того, как оптимально расположить камеру, чтобы охватывать больше пространств, - рассказал он.
Вместе с тем, доступ к суперкомпьютерам имеют как преподаватели, так и студенты университета.
- Сегодня без вычислений почти невозможно развивать науку, потому что это ускоряет процесс. На простом компьютере вы будете годами считать данные, а на суперкомпьютере это намного быстрее воспроизводится. Зависит, конечно, от специфики работы тоже, от научного проекта, потому что каждый процессор предназначен для какой-то определенной задачи, - объяснил Макат Тлебалиев.
По его словам, студенты, в основном, используют суперкомпьютеры для подготовки статей, защиты дипломных работ и проведения экспериментов, требующих вычислительных мощностей.
Один из таких проектов выиграл на международном конкурсе iGEM как «Лучший проект в области онкологии», обогнав команды биологов из топовых вузов мира. Студенты НУ разработали специальный гель для точечной терапии рака молочной железы.
Суперкомпьютеры быстро устаревают
Как пояснил Борис Потапчук, суперкомпьютеры требуют регулярной ревизии, программное обеспечение нужно обновлять каждые полгода или год, а аппаратное - каждые 2-3 года, поскольку технологии быстро устаревают.
- Для суперкомпьютеров нужно и воду подвести, и кондиционер, и источник бесперебойного питания, и обеспечить температурный режим, причем разный. У серверов на разном оборудовании могут быть разные температурные режимы. Поэтому это очень сложно, - добавил эксперт.
Отметим, что суперкомпьютеры сегодня имеются на базе еще 5 университетов и институтов, включая Евразийский национальный университет имени Л.Н. Гумилева, научную лабораторию Satbayev University, Казахстанско-Британский технический университет, Институт информационно-вычислительных технологий и Казахский национальный университет имени аль-Фараби.
Напомним, ранее в МЦРИАП сообщили, что до конца года в Казахстане будет запущен суперкомпьютер с использованием наиболее современных технологий. Объем вычислительных ресурсов, необходимых для ИИ, будет определяться в соответствии с потребностями госорганов, вузов, научного сообщества и частного сектора.