[iOS] 세 번째 프로젝트 ( 미출시 )

 

📱Brain Buddy ✏️

 

 

2023년 5월 17일 ~ 2023년 6월중 ( 약 3주 )

 

- 기획

- 개발과정

- 에러사항

 

 

 

기획

사실 기획의도는 학부 시절 종이에 적어가며 암기하며 공부했던 나의 모습을 떠올리고 기획하게 되었다.

 

전공서적에 있는 내용을 백지에 옮겨 적어가며 외우고 났을때, 이를 다시 빈칸을 내가 만들어서 잘 외웠나 시험 보고 싶었는데

빈칸을 만들시간에 차라리 조금 더 외우는데 집중을 해보고자 했었기 때문이다.

 

그래서 

 

사용자가 스스로 공부하며 백지에 적은 내용들을 사진으로 찍으면 해당 내용중에서 랜덤으로 빈칸을 생성해주며

빈칸 내용을 채워볼 수 있는 앱을 생각하게 되었다.

 

또한 실제로 펜을 이용해 시험을 보는 것과 같은 느낌을 주기 위해서 

텍스트 입력보다는 애플펜슬을 사용하여 직접 쓸 수 있는 

iPad 전용 앱으로 개발 하기로 하였다.

 

그렇게 사진인식, 텍스트 변환 등 여러가지 기술들을 찾아보다가

iOS내 VisionFramework가 존재하고 해당 VisionKit이 조금씩 업데이트되어 현재 3까지 나와있다는것을 보게 되었고

이 내장 기술을 사용하기로 했습니다.

 

 

개발 과정

한 눈에 들어오며 직관적이고 파일 저장과 불러오는 것을 편하게 -> CollectionView & Cell

텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷으로 변환 -> VisionKit Framework

사용자에게 앱 사용 방법 알려주기 -> Onboarding

전체적인 레이아웃은 SnapKit을 사용했다.

 

 

📌 VisionKit 사용과정

1. Vision 라이브러리 임포트

 

 

 

 

2. CGImage로 이미지 타입 변환

이미지 인식을 요청하는 handler를 생성할 때

= VNImageRequestHandler( cgImage: , options: [:])

cgImage를 요구한다. 원하는 UIImage를 cgImage로 변환한다. 

 

 

 

 

3. VNRecognizeTextRequest 인스턴스 생성

본격적인 VisionKit 사용이다.

VisionKit을 사용하기 위해서는 가장 먼저 인스턴스 생성부터 해야한다.

 

 

 

 

4. Vision 버전과 언어 설정

VNRecognizeTextRequest는 여러가지 옵션을 제공한다.

인스턴스를 생성했으면 옵션 설정을 하면 된다.

 

revision : VNRecognizeTextRequest의 버전 선택

( 2023.12월 기준 revision3가 가장 최신 버전)

 

recognitionLevel : 버전 인식의 정확도 레벨 

recognitionLanguages : 번역 할 언어 선택

 

 

 

VisionKit의 경우 지원하는 언어가 한정적인데

내가 원하는 언어가 지원하는지 확인할 수 있는 함수가 있다.

 

supportedRecognitionLanguages() : 함수 호출 시 지원하는 언어 확인 가능

 

iOS16이상, VNRecognizeTextRequestRevision3 버전 = 14가지 언어 지원

 

' 영어, 불어, 이탈리아어, 독일어, 스페인어, 포르투칼어(브라질), 중국어 간체, 중국어 번체, 광동어 간체, 광동어 번체, 

한글, 일본어, 러시아어, 우크라이나어 '

 

 

 

5. RequestHandler 동작

위에서 설정한 handler, request를 동작한다.

 

 

 

 

해당 기술에 해당하는 전체 코드

 /// Visision : Image -> TextRecognition
    private func recognizerText(image: UIImage?) { // 이미지는 선택사항
        guard let cgImage = image?.cgImage else { return } // Ui 이미지의 CG이미지 버전을 얻는 것
        
        // Handler
        let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
        
        // Reqeust ( 텍스트 감지를 위한 요청 생성 )
        let request = VNRecognizeTextRequest{ [weak self] request, error in
            // 실제 관찰된 정보 가져오기 ( request.results = 관찰 / 여기에서 문자열을 가져오고 )
            guard let observations = request.results as? [VNRecognizedTextObservation],
                  error == nil else {
                return
            }
            
            // 압축매핑
            let text = observations.compactMap({
                $0.topCandidates(1).first?.string
            }).joined(separator:"\n") // 줄바꿈으로 구분
            
            DispatchQueue.main.async {
                self?.addImageView.setTextViewText(text)
                self?.textTemp = text
            }
        }
        
        request.recognitionLevel = .accurate // 정확도 레벨
        request.recognitionLanguages = ["ko","en","zh-Hans","ja"] // 텍스트 감지 언어 -> 한국어, 영어, 중국어 일본어
        request.usesLanguageCorrection = true
        request.revision = VNRecognizeTextRequestRevision3 // 버전
        
        // Process request
        do {
            try handler.perform([request]) // Handler에서 요청 수행
        }
        catch {
            addImageView.setTextViewText("\(error)")
        }
    }

 

 

 

 

에러사항

Onboarding 화면을 제외한 Vision 기술, 전체적인 화면을 거의 다 구현했을 때 쯤 에러사항을 발견했다.

 

변환 언어를 request.recognitionLanguages = ["ko","en","zh-Hans","ja"] 

이렇게 잘 설정했음에도 잘 번역되지 않는 것이다.

 

 

 

TEST 1 : 인터넷에서 다운받은 정갈한 한글만 있는 경우

보다시피 누가봐도 잘 읽을 수 있는 한글의 경우 거의 모든 글자가 정상적으로 변환된다.

 

 

 

 

TEST 2 : 사람이 직접 펜으로 옮겨 쓴 한글과 영어

 

왼쪽 : 실제 공부한 것처럼 쓴 것

오른쪽 :  아이패드 앱 내에서 펜슬을 이용해 쓴 글씨 

 

보다시피 사람이 직접 필기해도 깨끗하게 잘 쓸수록 인식률이 좋다. 

또한 괄호나 영어도 잘 변환되는 것을 확인했다.

 

 

 

 

TEST3 : 영어만 있는 경우

역시 깔끔하고 잘 써진 영어 또한 잘 변환된다.

 

 

TEST 4 : 중국어 , 일본어가 있는 경우

 

인터넷에서 다운 받은 정갈한 글씨임에도 중국어와 일본어는 잘 번역되지 않는다.

 

 

 

 

사실 한국어와 영어만 잘 번역된다해도 상관없겠지만, 중국어와 일본어 정도는 추가하고 싶었다.

 

구글링 해본 결과 나와 똑같은 상황을 겪고있는 글을 볼 수 있었는데, 

오버플로우사이트임에도 좋은 해결방안은 없었다.

 

 

https://stackoverflow.com/questions/69546997/swifts-vision-framework-not-recognizing-japanese-characters

Swift's Vision framework not recognizing Japanese characters

 

 

이런 결과를 바탕으로 결국 중국어와 일본어까지 잘 인식하게 하려면 

내장라이브러리를 사용하지말고 직접 OCR기술 자체를 구현해서 연동해야하는것이 아닌가.. 생각이 들었다.

 

 

사실 기획 할 때 백지에 내용들을 적고 -> 중요한 키워드들을 형광펜으로 칠하면

이 형광펜으로 칠해진 부분만 인식하여 빈칸으로 만들고 싶었다는 아주 큰 욕심을 생각해보기도 했지만

이는 나 혼자로는 정말 어려웠을 것이라는것이다..

 

 

이 프로젝트를 현재 상황에서 출시하려면 어떻게 바꿔야할지, 

출시를 못한다하더라도 어떻게 바꾸면 좋을지 생각해봐야겠다. 

ApplePencilKit

VisionKit

SnapKit

MVC 

등 써보지 못했던 것들을 사용해본것이 좋았다.