随着数字设备的发展，屏幕相机之间的通信技术备受研究者们的关注。图像时域调制技术（使用高刷新率显示两帧连续图像）是屏幕相机通信技术的重要手段，它能很好的实现视觉遮蔽效果。由于人眼的观察频率不高于30Hz，所以只要以不小于60Hz的频率显示连续两帧图像，那么人眼看到的就是两帧图像的融合。所以在单帧图像上嵌入信息，而使两帧融合为原始图像，就可以在理论上达到无视觉失真的效果。在提取端，只要相机的采样率大于30Hz，就能捕捉到单帧信息，从而完成信息的解码。
难点在于，实际应用中的屏幕相机通信需要同时满足：透明性(Transparency)，低嵌入复杂度 (Efficiency)，高鲁棒性(Robustness)和设备适应性(Adaptability)。但目前为止并没有一项技术能同时满足这四条性质，因为这些性能在一定程度上相互制约。为了突破这种制约，该文提出了一种用于屏幕相机通信的图像码，称为“TERA Code”。
概括而言，在嵌入端，作者使用了基于颜色分解技术和人眼视觉模型的叠加嵌入方案，满足了图像码的透明性和高嵌入效率。在提取端，作者设计了基于拉丁方的水印排列方案和基于注意力机制的提取网络，保证了信息解码的鲁棒性和对不同设备的适应性。
文中大量实验验证了此方案相比于SOTA算法在视觉质量和提取准确率上的优势。同时，该方案也可以被用作屏摄鲁棒水印和屏摄警示水印。相关论文已被 IEEE Trans. on Multimedia (TMM) 录用，作者为中国科学技术大学网络空间安全学院的方涵、王锋、马泽华、刘泓谷、周文柏、张卫明、俞能海和微软雷德蒙德研究院的陈冬冬。
Fang Han, Chen Dongdong, Wang Feng, Ma Zehua, Liu Honggu, Zhou Wenbo, Zhang Weiming, Yu Nenghai, “TERA: Screen-to-Camera Image Code with Transparency, Efficiency, Robustness and Adaptability,” IEEE Trans. on Multimedia. 2021.
【撰稿：中科大张卫明；编者：复旦钱振兴】
IQOS维修 - terea