Initial commit

Author: Huffon

.github/CODEOWNERS

@@ -0,0 +1 @@
+Team SIGNALS @kakaobrain

.github/ISSUE_TEMPLATE/bug.md

@@ -0,0 +1,13 @@
+---
+name: Report a bug
+about: Bug report
+labels: 'bug'
+---
+
+## How to reproduce
+
+-
+
+## Environment
+
+-

.github/ISSUE_TEMPLATE/feature.md

@@ -0,0 +1,16 @@
+---
+name: Request a feature
+about: Feature request
+labels: 'feature'
+---
+
+## Describe a requested feature
+
+-
+
+## Expected behavior
+
+```python
+>>> a = Foo()
+>>> a.predict()
+```

.github/ISSUE_TEMPLATE/install.md

@@ -0,0 +1,9 @@
+---
+name: Install issue
+about: Issue about installation
+labels: 'install'
+---
+
+## Environment
+
+-

.github/PULL_REQUEST_TEMPLATE.md

@@ -0,0 +1,8 @@
+## Title
+- 
+
+## Description
+-
+
+## Linked Issues
+- resolved #00

.gitignore

@@ -0,0 +1,23 @@
+# project
+__pycache__
+.pytest_cache
+external_lib
+core.*
+.idea
+.empty
+.coverage
+
+# docs
+*.bat
+
+# deploy
+build*
+dist*
+*.egg*
+
+# test
+*.flac
+*.wav
+*.pt
+*.tmp
+tmp*

CONTRIBUTING.md

@@ -0,0 +1,25 @@
+# Contributing to Pororo
+
+## Style check guide
+
+- `pororo` relies on `black` and `isort` to format its source code consistently. After you make changes, format them with:
+
+```bash
+$ make style
+```
+
+- `pororo` also relies on `yapf` to maintain neat code structure. To apply `yapf`, follow [installation guide](https://github.com/google/yapf#installation) and utilize it with:
+
+```
+PYTHONPATH=DIR python DIR/yapf pororo --style '{based_on_style: google, indent_width: 4}' --recursive -i
+```
+
+<br>
+
+## Quality check guide
+
+- `pororo` uses `flake8` to check for coding mistakes. You can run the checks with:
+
+```bash
+$ make quality
+```

Dockerfile

@@ -0,0 +1,69 @@
+FROM pytorch/pytorch:1.6.0-cuda10.1-cudnn7-devel
+
+WORKDIR /app
+
+COPY . .
+
+RUN apt-get update && \
+    apt-get install -y apt-utils \
+    wget \
+    git \
+    gcc \
+    build-essential \
+    cmake \
+    libpq-dev \
+    libsndfile-dev \
+    libboost-system-dev \
+    libboost-thread-dev \
+    libboost-program-options-dev \
+    libboost-test-dev \
+    libeigen3-dev \
+    zlib1g-dev \
+    libbz2-dev \
+    liblzma-dev \
+    libsndfile1-dev \
+    libopenblas-dev \
+    libfftw3-dev \
+    libgflags-dev \
+    libgoogle-glog-dev \
+    libgl1-mesa-glx \
+    libomp-dev
+
+# 1. install pororo
+RUN pip install pororo
+
+# 2. install brainspeech
+RUN pip install soundfile \
+    torchaudio==0.6.0 \
+    pydub
+
+RUN conda install -y -c conda-forge librosa
+
+# 3. install etc modules
+RUN pip install librosa \
+    kollocate \
+    koparadigm \
+    g2pk \
+    fugashi \
+    ipadic \
+    romkan \
+    g2pM \
+    jieba \
+    opencv-python \
+    scikit-image \
+    python-mecab-ko
+
+WORKDIR /app/external_lib
+
+RUN git clone https://github.com/kpu/kenlm.git
+WORKDIR /app/external_lib/kenlm/build
+RUN cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_POSITION_INDEPENDENT_CODE=ON
+RUN make -j 16
+ENV KENLM_ROOT_DIR="/app/external_lib/kenlm/"
+
+WORKDIR /app/external_lib
+RUN git clone -b v0.2 https://github.com/facebookresearch/wav2letter.git
+WORKDIR /app/external_lib/wav2letter/bindings/python
+RUN pip install -e .
+
+WORKDIR /app

INSTALL.ko.md

@@ -0,0 +1,131 @@
+# 설치 가이드
+
+본 문서에서는 Pororo 설치를 위해 필요한 라이브러리에 대한 설명과 설치 방법을 다룹니다.
+
+<br>
+
+## 공통 모듈
+
+- Pororo 사용을 위해 공통적으로 설치되어야 할 라이브러리는 다음과 같습니다.
+- 해당 라이브러리들은 `pip install` 명령어를 통해 Pororo가 설치될 때 공통적으로 설치되므로, 추가적인 조치를 취해주지 않으셔도 됩니다.
+
+```python
+requirements = [
+    "torch==1.6.0",
+    "torchvision==0.7.0",
+    "pillow>=4.1.1",
+    "fairseq==0.10.2",
+    "transformers>=4.0.0",
+    "sentence_transformers==0.4.1.2",
+    "nltk==3.5",
+    "word2word",
+    "wget",
+    "joblib",
+    "lxml",
+    "g2p_en",
+    "whoosh",
+    "marisa-trie",
+    "kss",
+]
+```
+
+<br>
+
+## 한국어
+
+- 한국어의 특정 태스크를 수행하기 위해서는 추가적인 라이브러리를 설치할 필요가 있을 수 있습니다.
+
+- `python-mecab-ko`는 **한국어 Tokenization, PoS Tagging, Dependency Parsing** 등 여러 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install python-mecab-ko
+```
+
+- `kollocate`는 **한국어 Collocation** 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install kollocate
+```
+
+- `koparadigm`는 **한국어 Morphological Inflection** 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install koparadigm
+```
+
+- `g2pk`는 **한국어 Grapheme-to-Phoneme** 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install g2pk
+```
+
+<br>
+
+## 일본어
+
+- 일본어의 특정 태스크를 수행하기 위해서는 추가적인 라이브러리를 설치할 필요가 있을 수 있습니다.
+
+- `fugashi`와 `ipadic`은 **일본어 RoBERTa** 모델의 토크나이즈와 **일본어 PoS Tagging**을 위해 필요한 라이브러리입니다.
+
+```console
+pip install fugashi ipadic
+```
+
+- `romkan`은 **일본어 Grapheme-to-Phoneme** 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install romkan
+```
+
+<br>
+
+## 중국어
+
+- 중국어의 특정 태스크를 수행하기 위해서는 추가적인 라이브러리를 설치할 필요가 있을 수 있습니다.
+
+- `g2pM`은 **중국어 Grapheme-to-Phoneme** 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install g2pM
+```
+
+- `jieba`는 **중국어 PoS Tagging** 태스크의 수행을 위해 필요한 라이브러리입니다.
+
+```console
+pip install jieba
+```
+
+<br>
+
+## 기타
+
+### Linux 지원 태스크
+
+- Automatic Speech Recognition
+- Speech Translation
+- Optical Character Recognition
+- Image Captioning
+
+<br>
+
+### Automatic Speech Recognition
+  
+- 음성인식 모듈을 활용하기 위해서는 [wav2letter](https://github.com/facebookresearch/wav2letter) 설치가 필요합니다. 레포지토리의 `asr-install.sh`를 실행함으로써 `wav2letter` 설치가 가능합니다.
+
+```console
+bash asr-install.sh
+```
+
+<br>
+
+### Optical Character Recognition
+
+- OCR 모듈을 활용하기 위해서는 아래 라이브러리들을 설치해주셔야 합니다.
+
+```console
+apt-get install -y libgl1-mesa-glx
+```
+
+```console
+pip install opencv-python scikit-image
+```