All Projects → sbercloud-ai → aicloud-examples

sbercloud-ai / aicloud-examples

Licence: MIT License
Примеры distributed machine learning с помощью сервиса AICloud

Programming Languages

Jupyter Notebook
11667 projects
python
139335 projects - #7 most used programming language

Projects that are alternatives of or similar to aicloud-examples

tutorials
All of our code examples and tutorials
Stars: ✭ 62 (+158.33%)
Mutual labels:  examples, tutorials
godot-practice-shaders
Some practice shaders in Godot
Stars: ✭ 79 (+229.17%)
Mutual labels:  examples, tutorials
Examples
Jina examples and demos to help you get started
Stars: ✭ 185 (+670.83%)
Mutual labels:  examples, tutorials
Gopherlabs
The Ultimate Workshop Track for #golang Developer
Stars: ✭ 106 (+341.67%)
Mutual labels:  examples, tutorials
haxeunity
Documentation about using Unity (c#) with Haxe
Stars: ✭ 16 (-33.33%)
Mutual labels:  examples, tutorials
Learn Tensorflow Sharp
TensorflowSharp tutors and examples.
Stars: ✭ 120 (+400%)
Mutual labels:  examples, tutorials
Manual Testing
This repository contains the General Test Cases for performing Manual Testing on the Web/Mobile application. It also has Test cases related to API Testing. Templates related to Test Plan and BugBash are also updated.
Stars: ✭ 134 (+458.33%)
Mutual labels:  examples, tutorials
Rxjava2 Android Samples
RxJava 2 Android Examples - Migration From RxJava 1 to RxJava 2 - How to use RxJava 2 in Android
Stars: ✭ 4,950 (+20525%)
Mutual labels:  examples, tutorials
awesome.gl
棒棒哒攻略:Developer's Technical Documents, API References, Code Examples, Quick Starts, Programming minutebooks, and Tutorials. https://awesome.gl
Stars: ✭ 12 (-50%)
Mutual labels:  examples, tutorials
PlutoStaticHTML.jl
Convert Pluto notebooks to HTML in automated workflows
Stars: ✭ 69 (+187.5%)
Mutual labels:  tutorials, notebooks
Sketchup Ruby Api Tutorials
SketchUp Ruby API Tutorials and Examples
Stars: ✭ 105 (+337.5%)
Mutual labels:  examples, tutorials
lightning-tutorials
Collection of Pytorch lightning tutorial form as rich scripts automatically transformed to ipython notebooks.
Stars: ✭ 145 (+504.17%)
Mutual labels:  tutorials, notebooks
Lis Ynp
🔮 Life is short, you need PyTorch.
Stars: ✭ 92 (+283.33%)
Mutual labels:  examples, tutorials
Pharo Wiki
Wiki related to the Pharo programming language and environment.
Stars: ✭ 161 (+570.83%)
Mutual labels:  examples, tutorials
Haxejs
Documentation about using JavaScript with Haxe
Stars: ✭ 25 (+4.17%)
Mutual labels:  examples, tutorials
Learningx
Deep & Classical Reinforcement Learning + Machine Learning Examples in Python
Stars: ✭ 241 (+904.17%)
Mutual labels:  examples, tutorials
Vulkandemos
Some simple vulkan examples.
Stars: ✭ 413 (+1620.83%)
Mutual labels:  examples, tutorials
Go Packages
A large repository of code and documented examples for Go's standard package library.
Stars: ✭ 467 (+1845.83%)
Mutual labels:  examples, tutorials
GeoStatsTutorials
GeoStats.jl tutorials
Stars: ✭ 49 (+104.17%)
Mutual labels:  examples, tutorials
goodcode
A curated collection of annotated code examples from prominent open-source projects
Stars: ✭ 184 (+666.67%)
Mutual labels:  examples, tutorials

Примеры работы с платформой ML Space от SberCloud

В репозитории приведены примеры использования платформы ML Space для решения ML задач.

Model Training (обучение моделей)

Базовые примеры размещены в директории quick-start. Они иллюстрируют процесс обучения моделей одним из указанных способов:

  1. Напрямую из Jupyter Server, подключенного к GPU.

    Пример доступен по ссылке: Обучение модели в ноутбуке с GPU.

  2. Посредством отправки задачи обучения на кластер.

    Обучение модели через Training Job API на TensorFlow 1.

    Обучение модели через Training Job API на TensorFlow 2.

У каждого из этих способов обучения есть свои преимущества. Так при отправке задачи обучения на кластер можно задействовать 1000+ GPU, в случае обучения напрямую из Jupyter Server максимальное количество выделенных GPU — 16. Однако обучение из Jupyter Server на выделенных GPU проще и удобнее для пользователя (не требуется знакомство с библиотекой Horovod). Есть некоторые отличия в плане тарификации. При обучении из Jupyter Server на выделенных GPU взимается оплата до удаления сервера, даже если он не используется. При отправке задачи обучения на кластер пользователь платит за фактическое время исполнения задачи: от старта до окончания обучения.

Дополнительные примеры обучения моделей, доступные для использования:

  • В папке pytorch-example рассмотрен пример задачи распределенного обучения Pytorch-модели с двумя типами запуска: horovod (стандартный способ) и дополнительный тип запуска pytorch (он же Pytorch.Distributed).

Препроцессинг данных

  • Загрузка/выгрузка данных на S3 в стартовом примере.
  • Работа с Rapids, библиотекой, ускоряющей обработку датасетов на GPU.
  • С использованием ресурсов кластера Spark. В ноутбуке Spark_preproc.ipynb поясняется, как создать SparkSession и SparkContext, загрузить данные на S3 и выполнить препроцессинг этих данных.

AutoML

В стартовом ноутбуке для AutoML содержится объяснение, как обновить библиотеки autowoe и lightautoml, а также как загрузить туториалы из открытых репозиториев на GitHub для знакомства с функционалом библиотек.

Public API V2

В ноутбуке содержатся примеры того, как взаимодействовать с Public API V2, какие вводные для этого необходимы и т.д.

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].