Improve YUV performances and support other streams types

[Maxou44]

Improve YUV stream performance, and research other stream formats. Any ideas for macOS?

[Maxou44]

Chrome handles the following formats

"Classic" video formats (→ decoded by MFCaptureEngine)

┌──────────────────────┬─────────────────────────┬──────────────────────────────┐
│  Source format (MF)  │ What Chromium receives  │            Notes             │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_I420   │ I420 (soft) / NV12 (HW) │ Passthrough in software mode │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_YUY2   │ I420 / NV12             │ Converted by MF             │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_UYVY   │ I420 / NV12             │ Converted by MF             │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_RGB24  │ I420 / NV12             │ Converted by MF             │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_RGB32  │ I420 / NV12             │ Converted by MF             │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_ARGB32 │ I420 / NV12             │ Converted by MF             │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_MJPG   │ I420 / NV12             │ Decoded by MF              │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_NV12   │ I420 / NV12             │ Most common native format  │
├──────────────────────┼─────────────────────────┼──────────────────────────────┤
│ MFVideoFormat_YV12   │ I420 / NV12             │ Converted by MF             │
└──────────────────────┴─────────────────────────┴──────────────────────────────┘

Depth formats (depth cameras — passthrough without conversion)

┌────────────────────┬────────────────────────┬───────────────────────────┐
│ Source format (MF) │ What Chromium receives │           Notes           │
├────────────────────┼────────────────────────┼───────────────────────────┤
│ kMediaSubTypeY16   │ Y16                    │ Intel RealSense, etc.     │
├────────────────────┼────────────────────────┼───────────────────────────┤
│ kMediaSubTypeZ16   │ Y16                    │                           │
├────────────────────┼────────────────────────┼───────────────────────────┤
│ kMediaSubTypeINVZ  │ Y16                    │ Intel proprietary format  │
├────────────────────┼────────────────────────┼───────────────────────────┤
│ MFVideoFormat_D16  │ Y16                    │                           │
└────────────────────┴────────────────────────┴───────────────────────────┘

In practice

If you ask MFCaptureEngine to output in NV12 (hardware mode) or I420 (software mode), you cover 99% of use cases, and libjpeg-turbo can handle both directly without any intermediate conversion. This is the simplest strategy.