Détection de visage et cercle de dessin à l'aide de Android API Camera2
Actuellement, j'essaie de convertir Camera2.Face en rect de la vue réelle afin de dessiner un cercle sur le visage détecté par l'API Camera2.
Je peux obtenir le nombre de visages et ses données dans Callback par le code ci-dessous:
private CameraCaptureSession.CaptureCallback mCaptureCallback
= new CameraCaptureSession.CaptureCallback() {
private void process(CaptureResult result) {
Integer mode = result.get(CaptureResult.STATISTICS_FACE_DETECT_MODE);
Face [] faces = result.get(CaptureResult.STATISTICS_FACES);
if(faces != null && mode != null)
Log.e("tag", "faces : " + faces.length + " , mode : " + mode );
}
@Override
public void onCaptureProgressed(CameraCaptureSession session, CaptureRequest request, CaptureResult partialResult) {
process(partialResult);
}
@Override
public void onCaptureCompleted(CameraCaptureSession session, CaptureRequest request, TotalCaptureResult result) {
process(result);
}
}
J'ai essayé le code ci-dessous jusqu'à présent pour convertir Face rect en coordonnées de vue réelles (il semble que cela ne fonctionne pas):
/**
* Callback from the CameraCaptureSession.CaptureCallback
*/
@Override
public void onFaceDetection(Face[] faces) {
if (mCameraView != null) {
setFaceDetectionMatrix();
setFaceDetectionLayout(faces);
}
}
/**
* This method gets the scaling values of the face in matrix
*/
private void setFaceDetectionMatrix() {
// Face Detection Matrix
mFaceDetectionMatrix = new Matrix();
// Need mirror for front camera.
boolean mirror = mCameraView.getFacing() == CameraView.FACING_FRONT;
mFaceDetectionMatrix.setScale(mirror ? -1 : 1, 1);
mFaceDetectionMatrix.postRotate(mCameraDisplayOrientation);
Rect activeArraySizeRect = mCameraView.getCameraCharacteristics().get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);
Log.i("Test", "activeArraySizeRect1: (" + activeArraySizeRect + ") -> " + activeArraySizeRect.width() + ", " + activeArraySizeRect.height());
Log.i("Test", "activeArraySizeRect2: " + cameraOverlayDrawingView.getWidth() + ", " + cameraOverlayDrawingView.getHeight());
float s1 = cameraOverlayDrawingView.getWidth() / activeArraySizeRect.width();
float s2 = cameraOverlayDrawingView.getHeight() / activeArraySizeRect.height();
mFaceDetectionMatrix.postScale(s1, s2);
mFaceDetectionMatrix.postTranslate(cameraOverlayDrawingView.getWidth() / 2, cameraOverlayDrawingView.getHeight() / 2);
}
/**
* This method set the matrix for translating rect
*/
private void setFaceDetectionLayout(Face[] faces) {
if (faces.length == 0) {
cameraOverlayDrawingView.setHaveFaces(false, null);
} else if (faces.length > 0) {
List<Rect> faceRects;
faceRects = new ArrayList<>();
for (int i = 0; i < faces.length; i++) {
Log.i("Test", "Activity face" + i + " bounds: " + faces[i].getBounds());
if (faces[i].getScore() > 50) {
int left = faces[i].getBounds().left;
int top = faces[i].getBounds().top;
int right = faces[i].getBounds().right;
int bottom = faces[i].getBounds().bottom;
Rect uRect = new Rect(left, top, right, bottom);
RectF rectF = new RectF(uRect);
mFaceDetectionMatrix.mapRect(rectF);
uRect.set((int) rectF.left, (int) rectF.top, (int) rectF.right, (int) rectF.bottom);
Log.i("Test", "Activity rect" + i + " bounds: " + uRect);
faceRects.add(uRect);
}
}
cameraOverlayDrawingView.setHaveFaces(true, faceRects);
}
}
NOUVEAU: J'ai géré toutes les rotations de mon téléphone. Le offsetDxDy dépend de ma disposition, mais si je dois vous dire la vérité, je ne sais pas pourquoi j'ai mis une valeur de 100. Cela fonctionne bien sur mon Huawei P9 et je l'ai trouvé de manière empirique. Je n'ai toujours pas essayé de savoir si cela dépend de mon téléphone, de ma disposition XML ou des deux.
Quoi qu'il en soit, les les matrices sont maintenant trouvées, afin que vous puissiez les adapter afin qu'elles puissent répondre à vos besoins.
Remarque: mon setRotation n'est pas si général, car je ne l'ai pas paramétré
int orientationOffset = mCameraCharacteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
Vous pouvez essayer de le faire pour avoir un code général complet avec SENSOR_ORIENTATION différent de celui de cet exemple qui est 270.
Donc, ce code fonctionne avec un téléphone avec un capteur de caméra matériel avec une orientation de 270.
Le Huawei P9 l'a.
Juste pour vous donner une idée de faire en sorte que la rotation soit liée à l'orientation du capteur HW qui fonctionne également bien sur mon P9 (mais je n'ai pas d'autre matériel à tester)
if (mSwappedDimensions) {
// Display Rotation 0
mFaceDetectionMatrix.setRotate(orientationOffset);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getHeight() + offsetDxDy, mPreviewSize.getWidth() + offsetDxDy);
} else {
// Display Rotation 90 e 270
if (displayRotation == Surface.ROTATION_90) {
mFaceDetectionMatrix.setRotate(orientationOffset + 90);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getWidth() + offsetDxDy, -offsetDxDy);
} else if (displayRotation == Surface.ROTATION_270) {
mFaceDetectionMatrix.setRotate(orientationOffset + 270);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(-offsetDxDy, mPreviewSize.getHeight() + offsetDxDy);
}
}
Voici mon code final (également disponible sur GitHub)
int orientationOffset = mCameraCharacteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
Rect activeArraySizeRect = mCameraCharacteristics.get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);
// Face Detection Matrix
mFaceDetectionMatrix = new Matrix();
Log.i("Test", "activeArraySizeRect1: (" + activeArraySizeRect + ") -> " + activeArraySizeRect.width() + ", " + activeArraySizeRect.height());
Log.i("Test", "activeArraySizeRect2: " + mPreviewSize.getWidth() + ", " + mPreviewSize.getHeight());
float s1 = mPreviewSize.getWidth() / (float)activeArraySizeRect.width();
float s2 = mPreviewSize.getHeight() / (float)activeArraySizeRect.height();
//float s1 = mOverlayView.getWidth();
//float s2 = mOverlayView.getHeight();
boolean mirror = (facing == CameraCharacteristics.LENS_FACING_FRONT); // we always use front face camera
boolean weAreinPortrait = true;
int offsetDxDy = 100;
if (mSwappedDimensions) {
// Display Rotation 0
mFaceDetectionMatrix.setRotate(270);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getHeight() + offsetDxDy, mPreviewSize.getWidth() + offsetDxDy);
} else {
// Display Rotation 90 e 270
if (displayRotation == Surface.ROTATION_90) {
mFaceDetectionMatrix.setRotate(0);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getWidth() + offsetDxDy, -offsetDxDy);
} else if (displayRotation == Surface.ROTATION_270) {
mFaceDetectionMatrix.setRotate(180);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(-offsetDxDy, mPreviewSize.getHeight() + offsetDxDy);
}
}
Ceci est le dépôt public de github où vous pouvez trouver le code: https://github.com/shadowsheep1/Android-camera2-api-face-recon . J'espère que cela pourrait vous aider.
Quoi qu'il en soit, juste pour vous donner une théorie, ce que vous faites est une transformation de plan 2D. Je veux dire que vous avez un plan (le capteur HW) et vous devez remapper l'objet sur ce plan sur votre plan de prévisualisation.
Vous devez donc prendre soin de:
- Rotation : Cela dépend de la rotation de votre capteur HW et de la rotation du téléphone.
- Mirroring : Horizontal mirroring cela dépend si vous utilisez ou non la caméra frontale et le Vertical miroir cela dépend de la rotation du téléphone). La mise en miroir se fait avec un signe "-" dans la matrice de mise à l'échelle.
- Traduction : Cela dépend de l'endroit où votre objet a été placé par la rotation (cela dépend également du centre de rotation avec lequel vous traitez) et de la traduction. Vous devez donc remplacer dans votre aperçu Afficher vos objets.
Théorie des mathématiques
J'ai également écrit quelques articles techniques sur mon blog il y a quelque temps, mais ils sont en italien.