Детекция лиц с камеры телефона

В этом руководстве вы узнаете, как использовать объекты Processing Block Api из Face SDK для обнаружения лиц и определения их возраста и пола.

Задетектированные лица будут выделены зеленым ограничительным прямоугольником (bbox). Слева появится информация о возрасте и поле человека. 

Для работы вам потребуется телефон с операционной системой Android версии 7.0 и выше, а также инструменты Android Studio.

Исходный код проекта доступен в Face SDK examples/tutorials/kotlin/KotlinTutorial

Подготовка проекта

1. Запустите AndroidStudio и создайте новый проект File > New > Project. Выберите шаблон Empty Views Activity и нажмите next.
2. Укажите название и расположение вашего проекта, установите минимальную версию Android sdk 24 или выше и нажмите finish.

Работа c камерой

Получение разрешений для работы с камерой

1. Добавьте в AndroidManifest.xml.

   <manifest xmlns:android="http://schemas.android.com/apk/res/android"
       xmlns:tools="http://schemas.android.com/tools">
   // ................................................
   <uses-feature
       android:name="android.hardware.camera"
       android:required="false" />
   
   <uses-permission android:name="android.permission.CAMERA"/>

2. В файле MainActivity.kt в классе MainActivity добавьте метод getPermision и вызовите в методе onCreate.

   private fun getPermission(){
       if (ContextCompat.checkSelfPermission(this, android.Manifest.permission.CAMERA) !=
           PackageManager.PERMISSION_GRANTED){
           requestPermissions(arrayOf(android.Manifest.permission.CAMERA), 0)
       }
   }

3. Переопределите метод onRequestPermissionsResult и вызовите в нем метод getPermission.

   override fun onRequestPermissionsResult(
       requestCode: Int,
       permissions: Array<out String>,
       grantResults: IntArray
   ) {
       super.onRequestPermissionsResult(requestCode, permissions, grantResults)
       getPermission()
   }

Получение кадров с камеры

1. В /app/src/main/res/layout/activity_main.xml удалите TextView и добавьте TextureView для отображения изображения с камеры.

   <TextureView
       android:layout_height="match_parent"
       android:layout_width="match_parent"
       android:id="@+id/textureView" />

2. Добавьте переменные cameraManager, cameraDevice, cameraCaptureSession, handlerThread, handler, textureView, previewSize в класс MainActivity.

   class MainActivity : AppCompatActivity() {
   //........................................
   private lateinit var cameraManager: CameraManager
   lateinit var cameraDevice: CameraDevice
   lateinit var cameraCaptureSession: CameraCaptureSession
   
   private lateinit var handlerThread: HandlerThread
   lateinit var handler: Handler
   
   lateinit var textureView: TextureView
   val previewSize = Size(1280, 720)

3. Добавьте методы getFrontalCameraId и openCamera.

   private fun getFrontalCameraId(): String {
       return cameraManager.cameraIdList.first {
           cameraManager
               .getCameraCharacteristics(it)
               .get(CameraCharacteristics.LENS_FACING) == CameraCharacteristics.LENS_FACING_FRONT
       }
   }
   
   @SuppressLint("MissingPermission")
   fun openCamera(){
       cameraManager.openCamera(getFrontalCameraId(), object : CameraDevice.StateCallback(){
           override fun onOpened(p0: CameraDevice) {
               cameraDevice = p0
               val surfaceTexture = textureView.surfaceTexture
               surfaceTexture?.setDefaultBufferSize(previewSize.width, previewSize.height)
   
               val capReq = cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW)
               val surface = Surface(surfaceTexture)
               capReq.addTarget(surface)
   
               cameraDevice.createCaptureSession(listOf(surface), object: CameraCaptureSession.StateCallback(){
                   override fun onConfigured(p0: CameraCaptureSession) {
                       cameraCaptureSession = p0
                       cameraCaptureSession.setRepeatingRequest(capReq.build(), null, null)
                   }
                   override fun onConfigureFailed(p0: CameraCaptureSession) {
   
                   }
               }, handler)
           }
   
           override fun onDisconnected(p0: CameraDevice) {}
   
           override fun onError(p0: CameraDevice, p1: Int) {}
       }, handler)
   }

4. Проинициализируйте все переменные после вызова getPermision.

   textureView = findViewById(R.id.textureView)
   cameraManager = getSystemService(Context.CAMERA_SERVICE) as CameraManager
   
   handlerThread = HandlerThread("videoThread")
   handlerThread.start()
   handler = Handler(handlerThread.looper)
   
   textureView.surfaceTextureListener = object : TextureView.SurfaceTextureListener{
       override fun onSurfaceTextureAvailable(p0: SurfaceTexture, p1: Int, p2: Int) { openCamera() }
   
       override fun onSurfaceTextureUpdated(p0: SurfaceTexture) { }
   
       override fun onSurfaceTextureDestroyed(p0: SurfaceTexture): Boolean { return false }
   
       override fun onSurfaceTextureSizeChanged(p0: SurfaceTexture, p1: Int, p2: Int) { }
   }

5. Добавьте портретную ориентацию для MainActivity. Для этого перейдите в AndroidManifest.xml и в <activity ...> пропишите android:screenOrientation="portrait".

   <activity
       android:name=".MainActivity"
       android:exported="true"
       android:screenOrientation="portrait">

Подключение Face SDK к проекту

Настройка build.gradle.kts

1. Добавьте копирование библиотек Face SDK в ваш проект. Для этого укажите в поле android.

   sourceSets {
       this.getByName("main"){
           jniLibs {
               srcDir("/path/to/face_sdk/lib")
           }
       }
   }

2. Добавьте функции для копирования файлов конфигураций и моделей Face SDK в ваш проект.

   task("computeAssetsHash") {
       doLast {
           mkdir("$projectDir/src/main/assets/")
           File("$projectDir/src/main/assets/", "assets-hash.txt").writeText(
               "Buildtime ${LocalDateTime.now().format(DateTimeFormatter.ofPattern("YYYY:MM:dd:HH:mm:ss"))}"
           )
       }
   }
   
   task<Copy>("copyFiles") {
       description = "Copy files"
       from("/path/to/face_sdk/") {
           include(
               "conf/**",
               "share/processing_block/age_estimator/light/2.enc",
               "share/processing_block/gender_estimator/light/2.enc",
               "share/processing_block/face_fitter/fda/1.enc",
               "share/processing_block/face_detector/blf_front/1.enc",
               "license/**"
           )
       }
       into("$projectDir/src/main/assets/")
   }

3. Импортируйте dependsOn и вызовите функции computeAssetsHash и copyFiles.

   import com.android.build.gradle.internal.tasks.factory.dependsOn
   //..............................................................
   project.tasks.preBuild.dependsOn("computeAssetsHash")
   project.tasks.preBuild.dependsOn("copyFiles")

4. В dependencies подключите facerec.jar.

   implementation(files("/path/to/face_sdk/lib/facerec.jar"))

Получение ассетов Face SDK внутри приложения

В приложении ассеты хранятся в сжатом виде. Для получения ассетов Face SDK добавьте новую точку входа в приложение, в которой произойдет их распаковка в другое место.

1. Создайте новый файл UnpackAssetsActivity.kts и класс UnpackAssetsActivity.

   // activity to upack all assets
   class UnpackAssetsActivity : Activity() {
       public override fun onCreate(savedInstanceState: Bundle?) {
           super.onCreate(savedInstanceState)
           try {
               // read first line from assets-hash.txt
               val newHash =
                   BufferedReader(InputStreamReader(assets.open("assets-hash.txt"))).readLine()
   
               // and compare it with what we have already
               val sharedPreferences = getSharedPreferences("fe9733f0bfb7", 0)
   
               val prevHash = sharedPreferences.getString("assets-hash", null)
   
               // unpack everything again, if something changes
               if (prevHash == null || prevHash != newHash) {
                   val buffer = ByteArray(10240)
   
                   val persistentDir = applicationInfo.dataDir
   
                   val queue: Queue<String?> = ArrayDeque<String?>()
                   queue.add("conf")
                   queue.add("share")
                   queue.add("license")
   
                   while (!queue.isEmpty()) {
                       val path = queue.element()
                       queue.remove()
   
                       val list = assets.list(path!!)
   
                       if (list!!.isEmpty()) {
                           val fileStream = assets.open(path)
   
                           val fullPath = "$persistentDir/fsdk/$path"
   
                           File(fullPath).parentFile?.mkdirs()
   
                           val outFile = FileOutputStream(fullPath)
   
                           while (true) {
                               val read = fileStream.read(buffer)
   
                               if (read <= 0) break
   
                               outFile.write(buffer, 0, read)
                           }
   
                           fileStream.close()
                           outFile.close()
                       } else {
                           for (p in list) queue.add("$path/$p")
                       }
                   }
   
                   val editor = sharedPreferences.edit()
                   editor.putString("assets-hash", newHash)
                   while (!editor.commit());
               }
   
               val intent = Intent(applicationContext, MainActivity::class.java)
               startActivity(intent)
               finish()
           } catch (e: Exception) {
               Log.e("UnpackAssetsActivity", e.message!!)
               e.printStackTrace()
               finishAffinity()
           }
       }
   }

2. В AndroidManifest.xml добавьте поле activity для UnpackAssetsActivity и сделайте его первым при запуске.

   <activity
       android:name="UnpackAssetsActivity"
       android:directBootAware="true"
       android:exported="true">
   
       <intent-filter>
           <action android:name="android.intent.action.MAIN" />
           <category android:name="android.intent.category.LAUNCHER" />
       </intent-filter>
   </activity>

Использование модулей Face SDK

1. Добавьте переменные service, faceDetector, faceFitter, ageEstimator, genderEstimator в класс MainActivity и проинициализируйте их в методе onCreate.

   private lateinit var service: FacerecService
   private lateinit var faceDetector: ProcessingBlock
   private lateinit var faceFitter: ProcessingBlock
   private lateinit var ageEstimator: ProcessingBlock
   private lateinit var genderEstimator: ProcessingBlock
   //...................................................
   
   service = FacerecService.createService(
       "libfacerec.so",
       applicationInfo.dataDir + "/fsdk/conf/facerec",
       applicationInfo.dataDir + "/fsdk/license"
   )
   
   val configDetector = service.createContext()
   configDetector["unit_type"].string = "FACE_DETECTOR"
   configDetector["modification"].string = "blf_front"
   
   faceDetector = service.createProcessingBlock(configDetector)
   
   val configFitter = service.createContext()
   configFitter["unit_type"].string = "FACE_FITTER"
   configFitter["modification"].string = "fda"
   
   faceFitter = service.createProcessingBlock(configFitter)
   
   val configAgeEstimator = service.createContext()
   configAgeEstimator["unit_type"].string = "AGE_ESTIMATOR"
   configAgeEstimator["modification"].string = "light"
   configAgeEstimator["version"].long = 2
   
   ageEstimator = service.createProcessingBlock(configAgeEstimator)
   
   val configGenderEstimator = service.createContext()
   configGenderEstimator["unit_type"].string = "GENDER_ESTIMATOR"
   configGenderEstimator["modification"].string = "light"
   configGenderEstimator["version"].long = 2
   
   genderEstimator = service.createProcessingBlock(configGenderEstimator)

2. Для отображения полученных детекций нам понадобятся переменные paint, bitmap и imageView в классе MainActivity, а также ImageView в /app/src/main/res/layout/activity_main.xml.

   ```kotlin
   val paint = Paint()
   lateinit var bitmap: Bitmap
   lateinit var imageView: ImageView
   ```
   
   ```xml
   <ImageView
   android:layout_width="match_parent"
   android:layout_height="match_parent"
   android:background="#000"
   android:id="@+id/imageView" />
   ```

3. Проинициализируйте imageView в методе onCreate.

   imageView = findViewById(R.id.imageView)

4. В textureView.surfaceTextureListener переопределите метод onSurfaceTextureUpdated.

   Добавьте в него формирование входного контейнера-Context с бинарным RGB изображением, вызовы модулей Face SDK и отображение результата.

   override fun onSurfaceTextureUpdated(p0: SurfaceTexture) {
   bitmap = textureView.bitmap!!
   
   val  width = bitmap.width
   val  height = bitmap.height
   
   val pixels = IntArray(width * height)
   val imageData = ByteArray(width * height * 3)
   
   bitmap.getPixels(pixels, 0, width, 0, 0, width, height)
   
   for (i in pixels.indices) {
       imageData[i * 3 + 0] = (pixels[i] shr 16).toByte()
       imageData[i * 3 + 1] = (pixels[i] shr 8).toByte()
       imageData[i * 3 + 2] = (pixels[i] shr 0).toByte()
   }
   
   val ioData = service.createContextFromFrame(imageData, width, height,
       com.vdt.face_recognition.sdk.Context.Format.FORMAT_RGB, 0)
   faceDetector.process(ioData)
   faceFitter.process(ioData)
   ageEstimator.process(ioData)
   genderEstimator.process(ioData)
   
   val objects = ioData["objects"]
   
   val mutable = bitmap.copy(Bitmap.Config.ARGB_8888, true)
   
   val canvas = Canvas(mutable)
   
   paint.textSize = height/50f
   paint.strokeWidth = width/100f
   val indentionX = (0.01 * width).toFloat()
   val indentionY = paint.textSize
   for (i in 0..< objects.size()) {
       val obj = objects[0]
       val bbox = obj["bbox"]
       val x1 = (bbox[0].double).toFloat() * width
       val y1 = (bbox[1].double).toFloat() * height
       val x2 = (bbox[2].double).toFloat() * width
       val y2 = (bbox[3].double).toFloat() * height
   
       paint.color = Color.GREEN
       paint.style = Paint.Style.STROKE
       canvas.drawRect(RectF(x1, y1, x2, y2), paint)
       paint.style = Paint.Style.FILL
       canvas.drawText("age: " + obj["age"].long,
           x2 + indentionX, y1 + indentionY, paint)
       canvas.drawText("gender: " + obj["gender"].string,
           x2 + indentionX, y1 + 2 * indentionY, paint)
   }
   
   imageView.setImageBitmap(mutable)
   }