Paella

Минималистичная модель генерации изображений из текста, модель позволяет лееегко выполнять различные манипуляции с изображениями.

Github: https://github.com/dome272/paella

Colab: https://colab.research.google.com/drive/1HH5Fey_mTiz29l9dGmHGqZqdzwLpLrxj?usp=sharing

Paper: https://arxiv.org/abs/2211.07292v1

👉 @bigdata_1

SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation

Датасет наблюдение за Землей и преобученнная модель из 251 079 мест по всему миру.

Github: https://github.com/zhu-xlab/ssl4eo-s12

📝 Paper: https://arxiv.org/abs/2211.07044v1

Dataset: https://mediatum.ub.tum.de/1660427

👉 @bigdata_1

Easy Start

On Analyzing the Role of Image for Visual-enhanced Relation Extraction

git clone https://github.com/zjunlp/DeepKE.git
cd DeepKE/example/re/multimodal

Github: https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal

🗒 Paper: https://arxiv.org/abs/2211.07504v1

Dataset: https://github.com/thecharm/Mega

Pretrained model: https://huggingface.co/openai/clip-vit-base-patch32

👉 @bigdata_1

Versatile Diffusion: Text, Images and Variations All in One Diffusion Model


VD поддерживает преобразование изображения в текст, изменение изображения, преобразование текста в изображение и генерацию текста Будущие версии будут поддерживать речь, музыку, видео и 3D. Универсальная диффузия: текст, изображения и вариации — все в одной модели.

Github: https://github.com/shi-labs/versatile-diffusion

🗒 Paper: https://arxiv.org/abs/2211.08332v1

Demo: https://huggingface.co/spaces/shi-labs/Versatile-Diffusion

Dataset: https://github.com/rom1504/img2dataset

👉 @bigdata_1

ActionFormer: Localizing Moments of Actions with Transformers

Github: https://github.com/happyharrycn/actionformer_release

Features and Annotations: https://drive.google.com/file/d/1JKh3w14ngAjgzuuP22BnjhkhIcBSqteJ/view?usp=sharing

🗒 Pre-trained Model: https://arxiv.org/abs/2211.09074v1

Dataset: https://paperswithcode.com/dataset/kinetics

👉 @bigdata_1

InvokeAI: A Stable Diffusion Toolkit

InvokeAI — набор надежных инструментов для создания и редактирования изображений с помощью нейросети.

🖥 Github: https://github.com/invoke-ai/InvokeAI

⭐️ Как запустить: https://telegra.ph/Kak-zapustit-II-generator-Stable-Diffusion-11-18

📃 Docs: https://invoke-ai.github.io/InvokeAI/

👉 @bigdata_1

DiffusionDet: Diffusion Model for Object Detection

DiffusionDet — первая диффузионная модель для обнаружения объектов.

Github: https://github.com/shoufachen/diffusiondet

Paper: https://arxiv.org/abs/2211.09788v1

🗒 Getting Started: https://github.com/ShoufaChen/DiffusionDet/blob/main/GETTING_STARTED.md

Dataset: https://paperswithcode.com/dataset/imagenet

👉 @bigdata_1

MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors

MOTRv2, простой, но эффективный конвейер для запуска отслеживания нескольких объектов.

Github: https://github.com/megvii-research/MOTRv2

Paper: https://arxiv.org/abs/2211.09791v1

Dataset: https://paperswithcode.com/dataset/mot17

👉 @bigdata_1

Bayesian Light Source Separator (BLISS)

Байесовский подход для определения параметров источника света с добавлением астрономических изображений.

git clone https://github.com/prob-ml/bliss.git

Github: https://github.com/prob-ml/bliss

Paper: https://arxiv.org/abs/2211.09300v1

Poetry: https://python-poetry.org/docs/

👉 @bigdata_1

InfiniteNature-Zero

InfiniteNature-Zero Генеративный ИИ с открытым исходным кодом для создания невероятных природных сцен из отдельных изображений.

conda env create -f enviornment_infinite_nature_zero.yml

Github: https://github.com/google-research/google-research/tree/master/infinite_nature_zero

Paper: https://arxiv.org/abs/2207.11148

Project: https://infinite-nature-zero.github.io/

📌 Video: https://infinite-nature-zero.github.io/#overview_video

👉 @bigdata_1

Graph Network Simulator (GNS)

Cимулятор графовой сети (GNS) на основе PyTorch, который на осннове физики и прогнозирует поведение потока дисперсных и жидких систем.

Github: https://github.com/geoelements/gns

Paper: https://arxiv.org/abs/2211.10228v1

Dataset: https://doi.org/10.17603/ds2-0phb-dg64

👉 @bigdata_1

ComMU: Dataset for Combinatorial Music Generation

Набор данных для генерации музыки различных жанров.
Набор данных содержит 11 144 MIDI-сэмплов, написанных и созданных профессиональными композиторами.


Github: https://github.com/POZAlabs/ComMU-code

Paper: https://arxiv.org/abs/2211.09385v1

Dataset: https://github.com/POZAlabs/ComMU-code/tree/master/dataset

Demo: https://pozalabs.github.io/ComMU/

MuseGAN: https://github.com/salu133445/musegan

👉 @bigdata_1

Stable Diffusion web UI

UI на основе библиотеки Gradio для Stable Diffusion. Большое количество фич для генерации контента с удобным интерфейсом.

Github: https://github.com/AUTOMATIC1111/stable-diffusion-webui

Scripts: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Custom-Scripts

Features: https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features

👉 @bigdata_1

TorchScale - A Library for Transformers at (Any) Scale

TorchScale - набор инструментов с открытым исходным кодом, который позволяети разработчикам эффективно и действенно масштабировать Transformers.

pip install torchscale

🖥 Github: https://github.com/microsoft/torchscale

⏩ Paprer: https://arxiv.org/abs/2211.13184v1

⭐️ Pypi: https://pypi.org/project/torchscale/

👉 @bigdata_1