[TarsosDSP] Real-time Pitch Detection

현재 진행하고 있는 프로젝트의 메인 기능은 두 가지이다. 

1) 사용자의 음성 데이터를 받아 실시간으로 각 음의 pitch를 detect하고 이를 note로 바꾸어주는 기능

2) 사용자에게 알맞은 key에 맞추어 기존 음원 데이터의 pitch를 shift해주는 기능

이번 포스팅에서는 첫 번째 기능을 테스트하는 과정을 다루려고 한다.  

Library 선정

• pitch detection 라이브러리 : Praat(+Parselmouth), aubio, librosa
• pitch detection 알고리즘(JS) : PitchDetect
• 딥러닝 모델 : SPICE(tensorflow)

대략 2달 동안 실시간 pitch dectection / pitch shifting을 지원하면서 오픈 소스인 라이브러리를 찾아보았지만, 대부분의 라이브러리는 실시간성을 제공하지 않았다. 그러던 중, 실시간성을 지원하면서도 현재 사용하고 있는 안드로이드 스튜디오와 100% 호환되는 TarsosDSP 라이브러리를 찾게 되었다. 

 

TarsosDSP

오디오 프로세싱을 위한 Java 라이브러리로, YIN, Mcleod Pitch method, Dynamic Wavelet Algorithm Pitch Tracking과 같은 다양한 pitch detection 알고리즘들을 포함하고 있다. 또한 Goertzel DTMF 디코딩 알고리즘, time stretch algorithm(WSOLA), resampling, filters, simple synthesis, some audio effects와 pitch shifting 알고리즘을 제공한다. 

 

TarsosDSP 설치

01. TarsosDSP 다운로드

안드로이드에서 TarsosDSP Library를 사용하기 위해서는 해당 릴리즈 라이브러리를 다운받아야 한다.

안드로이드용 TarsosDSP 홈페이지

 

TarsosDSP-latest/TarsosDSP-Android-latest.jar 파일을 다운로드한다. 이 때 압축은 풀지 않는다!

 

02. 프로젝트에 dependency 추가

lib 폴더에 다운받은 jar 파일을 추가하기 위해 Android -> Project로 구조를 변경한다.

다운받은 TarsosDSP-latest.jar 파일을 그대로 libs 폴더에 넣어준다. 

상단 메뉴 File -> Project Structure에서 Dependency를 선택한 후, app 모듈을 선택하면 현재 추가된 dependency 목록이 보인다.

(+) 버튼을 누른 후 JAR/AAR Dependency를 선택한 후, 경로명에 libs/TarsosDSP-Android-latest.jar를 입력하여 등록한다

정상적으로 등록되었다면, build.gradle 파일 하단에 아래와 같이 표시될 것이다. 

app 폴더 내에 있는 build.gradle이다

// build.gradle(app)
dependencies {
    ...
    implementation files('libs/TarsosDSP-Android-latest.jar')
}

 

03. xml 파일 수정

기본적으로 마이크 기능을 사용해야 하기 때문에 권한 등록의 편의를 위해 targetSdkVersion을 22로 설정해준다.

// build.gradle(app)
android {
	...
    defaultConfig {
        ...
        targetSdk 22
        ...
    }

 

AndroidManifest.xml에도 aubio 및 storage 권한을 등록한다. Manifest 태그 바로 밑에 해당 코드를 넣어준다. 

<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="...">
    
 <uses-permission android:name="android.permission.RECORD_AUDIO"/>
 <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
 <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>

 

실습 설명 및 코드

1. 기본 GUI 설정

녹음되는 음성의 pitch를 실시간으로 표시하기 위한 텍스트뷰와 녹음, 재생 버튼을 구현했다. 

// activity_main.xml
<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical">

    <FrameLayout
        android:layout_width="match_parent"
        android:layout_height="507dp"
        android:padding="16dp">

        <TextView
            android:id="@+id/textView"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="Pitch:" />

        <TextView
            android:id="@+id/pitchTextView"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:layout_gravity="center"
            android:text="0"
            android:textSize="50sp" />

    </FrameLayout>

    <Button
        android:id="@+id/recordButton"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="녹음" />

    <Button
        android:id="@+id/playButton"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="재생" />

</LinearLayout>

 

2. TarsosDSP Format Settings

입력 데이터를 어떤 식으로 processing할 것인지 지정해주는 과정이다. 이번 실습에서 testing할 주요 기능이 아니기 때문에 여기를 참고하여 값을 지정하였다. 세밀한 값은 나중에 지정할 예정이다. 

public TarsosDSPAudioFormat(TarsosDSPAudioFormat.Encoding encoding,
                            float sampleRate,
                            int sampleSizeInBits,
                            int channels,
                            int frameSize,
                            float frameRate,
                            boolean bigEndian)

Parameters
encoding - the audio encoding technique
sampleRate - the number of samples per secondsample
SizeInBits - the number of bits in each sample
channels - the number of channels (1 for mono, 2 for stereo, and so on)
frameSize - the number of bytes in each frame
frameRate - the number of frames per second
bigEndian - indicates whether the data for a single sample is stored in big-endian byte order (false means little-endian)

TarsosDSPAudioFormat tarsosDSPAudioFormat;

protected void onCreate(Bundle savedInstanceState)
{
    ...
    tarsosDSPAudioFormat=new TarsosDSPAudioFormat(TarsosDSPAudioFormat.Encoding.PCM_SIGNED,
                22050,
                2 * 8,
                1,
                2 * 1,
                22050,
                ByteOrder.BIG_ENDIAN.equals(ByteOrder.nativeOrder()));
    ...
}

 

3. Voice Recording & Real Time Pitch Detection

우리 프로젝트에서 핵심적인 부분을 담당하는 기능이다!!

1) TarsosDSP를 이용하여 마이크로 사용자의 음성을 녹음하는 동시에 해당 음성의 주파수를 Note로 바꾸어준다.

2) 해당 음성이 입력된 시간과 변환된 Note를 하나의 hashmap으로 묶어 저장한다. 

3) 이 hashmap과 원래 음원의 <시간, note>hashmap을 비교하여 사용자의 key가 원곡의 음정과 벗어났는지, 박자가 일치하는지 판단하는데 사용된다. 

이 포스팅에서는 사용자의 음성을 처리하는 (1)~(2)만 설명하겠다.

• 시작 시간 측정

long start = System.currentTimeMillis();

• <시간, note>를 담을 hashmap 생성. milisecond 단위로 담아야 하기에 Double 자료형을 선택했다. 

HashMap<Double, String> dictionary = new HashMap<Double, String>();

• 현재 사용하고 있는 dispatcher 객체를 제거하고, 마이크로부터 입력을 받는 dispatcher 객체를 생성한다.

releaseDispatcher();
dispatcher = AudioDispatcherFactory.fromDefaultMicrophone(22050,1024,0);

• 입력받은 음성 파일을 저장하기 위해 RandomAccessFile을 생성해주고, 지정한 출력으로 음성 데이터를 기록하는 WriterProcessor(AudioProcessor) 객체를 생성하여 dispatcher에 추가한다.

RandomAccessFile randomAccessFile = new RandomAccessFile(file,"rw");
AudioProcessor recordProcessor = new WriterProcessor(tarsosDSPAudioFormat, randomAccessFile);
dispatcher.addAudioProcessor(recordProcessor);

• pitch detection handler를 만들어 입력된 pitch를 가져온 후, note로 변환해준다.

PitchDetectionHandler pitchDetectionHandler = new PitchDetectionHandler() {
    @Override
    public void handlePitch(PitchDetectionResult res, AudioEvent e){
        final float pitchInHz = res.getPitch(); // 입력된 pitch 가져오기
        String octav = ProcessPitch.processPitch(pitchInHz); // pitch -> note
        runOnUiThread(new Runnable() {
        ...
        });
    }
};

• 변환한 note를 화면에 표시해주고, 녹음이 시작된 이후로 몇 초가 지났는지 계산하여 hashmap에 넣는다. 

runOnUiThread(new Runnable() {
            @Override
            public void run() {
                pitchTextView.setText(octav); // 화면에 표시되는 note 변경
                long end = System.currentTimeMillis(); // note가 입력된 시간 가져오기(일반시각)
                double time = (end-start)/(1000.0); // 녹음이 시작된 이후의 시간으로 변경
                dictionary.put(time, octav); // hashmap에 <time, note> 입력
            }
        });

• (Optional)녹음이 종료되면, 저장된 dictionary에 있는 값을 확인한다.

Set set = dictionary.entrySet();
Iterator iter2 = set.iterator();
while(iter2.hasNext()) {
    Map.Entry entry = (Map.Entry)iter2.next();
    Log.v("result",(Double)entry.getKey()+" "+(String)entry.getValue());
}

• pitch detection은 pitchProcessor 클래스를 통해 수행되는데, 이 때 실시간 pitch detection 결과를 전달받기 위한 thread handler 객체를 지정해줘야 한다. 

PitchProcessor(PitchProcessor.PitchEstimationAlgorithm algorithm, 
				float sampleRate, 
                int bufferSize, 
                PitchDetectionHandler handler)

 

AMDF - A pitch extractor that extracts the Average Magnitude Difference (AMDF) from an audio buffer.DYNAMIC_WAVELET - An implementation of a dynamic wavelet pitch detection algorithm (See DynamicWavelet), described in a paper by Eric Larson and Ross Maddox “Real-Time Time-Domain Pitch Tracking Using Wavelets
FFT_PITCH - Returns the frequency of the FFT-bin with most energy.
FFT_YIN - A YIN implementation with a faster FastYin for the implementation.
MPM - McLeodPitchMethod.YIN - YIN algorithm.

AudioProcessor pitchProcessor = new PitchProcessor(
		PitchProcessor.PitchEstimationAlgorithm.FFT_YIN, 
        	22050, 
        	1024, 
        	pitchDetectionHandler);
dispatcher.addAudioProcessor(pitchProcessor);

• Thread로 dispatcher를 실행해준다. 

Thread audioThread = new Thread(dispatcher, "Audio Thread");
audioThread.start();

 

+ Pitch to Note(ProcessPitch)

16.35~7902.13Hz를 note로 변환하는 함수이다. 변환표에 있는 내용을 옮겨왔다. 생각보다 양이 많아서 일단 따로 class를 만들어 분리해놓았다. 실제 구현 때는 DB에 넣고 불러오는 형식으로 진행해야 할 것 같다. 

public class ProcessPitch {
    // pitch -> key
    public static String processPitch(float pitchInHz){
        String noteText = "Nope";
        if(pitchInHz >= 16.35 && pitchInHz < 17.32) {
            noteText = "C0";
        }
        else if(pitchInHz >= 17.32 && pitchInHz < 18.35) {
            noteText = "C#0";
        }
        else if(pitchInHz >= 18.35 && pitchInHz < 19.45) {
            noteText = "D0";
        }
        else if(pitchInHz >= 19.45 && pitchInHz < 20.60) {
            noteText = "D#0";
        }
        else if(pitchInHz >= 20.60 && pitchInHz <= 21.83) {
            noteText = "E0";
        }
        ...
        return noteText;
}