UWP 使用Windows.Media.FaceAnalysis.FaceDetector检测人脸

话说现在检测人脸的技术有很多。有在线AI服务，比如Megvii Face++，Microsoft Cognitive Services，Tencent AI等等。还有本地的库实现的，比如OpenCV。

但是这些这篇文章都不讨论，微软在 .NETCore里面也提供了一种本地检测人脸的API，那就是Windows.Media.FaceAnalysis。

.NetCore在你新建通用UWP应用的时候，Nuget自动添加了。

那么接下来，我们在设计Xaml代码的时候，加两个按钮，一个是选择图片，一个是检测人脸。

再建一个Canvas控件，用来显示图片。

之所以用Canvas画布，不用Image，是因为我们还需要在图片上画出一个矩形框，框出识别的人脸位置和大小呢。

<Grid Background="{ThemeResource ApplicationPageBackgroundThemeBrush}">

        <Grid.RowDefinitions>

            <RowDefinition Height="30"/>

            <RowDefinition/>

        </Grid.RowDefinitions>

        <Grid.ColumnDefinitions>

            <ColumnDefinition/>

            <ColumnDefinition/>

        </Grid.ColumnDefinitions>

        <Button Content="Choose Picture" Click="ChoosePicture"/>

        <Button Grid.Column="1" Content="Detect Face" Click="DetectFace"/>

        <Canvas x:Name="canvasDetected" Grid.ColumnSpan="2" Grid.Row="1"  VerticalAlignment="Stretch" HorizontalAlignment="Stretch"/>

    </Grid>

然后开始写代码，选择图片的逻辑很简单，只需要选择一个图片，显示到Canvas中即可。

private async void ChoosePicture(object sender, RoutedEventArgs e)

        {

            FileOpenPicker openPicker = new FileOpenPicker();

            openPicker.ViewMode = PickerViewMode.Thumbnail;

            openPicker.SuggestedStartLocation = PickerLocationId.PicturesLibrary;

            openPicker.FileTypeFilter.Add(".bmp");

            openPicker.FileTypeFilter.Add(".png");

            openPicker.FileTypeFilter.Add(".jpeg");

            openPicker.FileTypeFilter.Add(".jpg");

            StorageFile file = await openPicker.PickSingleFileAsync();

            if (file != null)

            {

                using (IRandomAccessStream strm = await file.OpenAsync(Windows.Storage.FileAccessMode.Read))

                {

                    BitmapDecoder decoder = await BitmapDecoder.CreateAsync(strm);

                    BitmapTransform transform = new BitmapTransform();

                    source = await decoder.GetSoftwareBitmapAsync();

                    WriteableBitmap displaySource = new WriteableBitmap(source.PixelWidth, source.PixelHeight);

                    source.CopyToBuffer(displaySource.PixelBuffer);

                    ImageBrush brush = new ImageBrush();

                    brush.ImageSource = displaySource;

                    brush.Stretch = Stretch.Uniform;

                    canvasDetected.Background = brush;

                    canvasDetected.Children.Clear();

                }

            }

        }

遇到红色波浪线提示的，用VS自动修复功能，自动添加引用即可。

还有一个source没有定义，不慌，反正下一步就要检测人脸了，我们来看一看FaceDetector的定义，

namespace Windows.Media.FaceAnalysis

{

    //

    // 摘要:

    //     在 SoftwareBitmap 中检测人脸。

    [ContractVersion(typeof(UniversalApiContract), )]

    [MarshalingBehavior(MarshalingType.Agile)]

    [Static(typeof(IFaceDetectorStatics), , "Windows.Foundation.UniversalApiContract")]

    [Threading(ThreadingModel.Both)]

    public sealed class FaceDetector : IFaceDetector

    {

        //

        // 摘要:

        //     异步检测提供的 SoftwareBitmap 中的人脸。

        //

        // 参数:

        //   image:

        //     要进行人脸检测处理的图像数据。

        //

        // 返回结果:

        //     一个异步操作，在成功完成时返回 DetectedFace 对象的列表。

        [Overload("DetectFacesAsync")]

        [RemoteAsync]

        public IAsyncOperation<IList<DetectedFace>> DetectFacesAsync(SoftwareBitmap image);

     }

}

看到没，使用FaceDetector需要一个SoftwareBitmap，那么好了，我们定义一个私有变量SoftwareBitmap source即可。

然后写检测的代码，

private async void DetectFace(object sender, RoutedEventArgs e)

        {

            const BitmapPixelFormat faceDetectionPixelFormat = BitmapPixelFormat.Gray8;

            SoftwareBitmap converted;

            if (source.BitmapPixelFormat != faceDetectionPixelFormat)

            {

                converted = SoftwareBitmap.Convert(source, faceDetectionPixelFormat);

            }

            else

            {

                converted = source;

            }

            FaceDetector faceDetector = await FaceDetector.CreateAsync();

            IList<DetectedFace> detectedFaces = await faceDetector.DetectFacesAsync(converted);

            DrawBoxes(detectedFaces);　　//这个功能在实际场景中使用不多，在这可以写你的实际业务场景

        }

画人脸矩形：

        //这个功能在实际场景中使用不多

        private void DrawBoxes(IList<DetectedFace> detectedFaces)

        {

            if (detectedFaces != null)

            {

                //get the scaling factor

                double scaleWidth = source.PixelWidth / this.canvasDetected.ActualWidth;

                double scaleHeight = source.PixelHeight / this.canvasDetected.ActualHeight;

                double scalingFactor = scaleHeight > scaleWidth ? scaleHeight : scaleWidth;

                //get the display width of the image.

                double displayWidth = source.PixelWidth / scalingFactor;

                double displayHeight = source.PixelHeight / scalingFactor;

                //get the delta width/height between canvas actual width and the image display width

                double deltaWidth = this.canvasDetected.ActualWidth - displayWidth;

                double deltaHeight = this.canvasDetected.ActualHeight - displayHeight;

                SolidColorBrush lineBrush = new SolidColorBrush(Windows.UI.Colors.White);

                double lineThickness = 2.0;

                SolidColorBrush fillBrush = new SolidColorBrush(Windows.UI.Colors.Transparent);

                foreach (DetectedFace face in detectedFaces)

                {

                    Rectangle box = new Rectangle();

                    box.Tag = face.FaceBox;

                    //scale the box with the scaling factor

                    box.Width = face.FaceBox.Width / scalingFactor;

                    box.Height = face.FaceBox.Height / scalingFactor;

                    box.Fill = fillBrush;

                    box.Stroke = lineBrush;

                    box.StrokeThickness = lineThickness;

                    //set coordinate of the box in the canvas

                    box.Margin = new Thickness((uint)(face.FaceBox.X / scalingFactor + deltaWidth / ), (uint)(face.FaceBox.Y / scalingFactor + deltaHeight / ), , );

                    this.canvasDetected.Children.Add(box);

                }

            }

        }

其实，像上面的DrawBoxes注释那样，一般用的还不算多。

我的项目都是判断如果detectedFaces不是null的话，接下来就可以调用云API来实现人脸搜索了，毕竟这个本地微软的api还做不到。

下面看一下效果

总结

微软提供的FaceDetector还是挺实用的，毕竟可以节约我们一遍一遍像服务器发送请求检测人脸的开支了，虽然云API检测人脸并不贵，face++的10000次才一块钱。毕竟你上传图片，还不要带宽资源吧。万一碰到个网络不好，那不是还要再请求一次。。。哈哈，折腾点。

不过这个也随便了，看自己喜好吧。

巴特西

UWP 使用Windows.Media.FaceAnalysis.FaceDetector检测人脸

最新文章

热门文章