THOCR研究室介绍

 

信息时代中，利用计算机对浩如烟海的文档、摄像资料实现基于内容的检索，迫切需要文字识别等智能化图文信息处理技术。承载中华民族文化的文档数字化和关系国家安全的身份认证技术必须由中国人自己来完成。在国家“973”计划、国家“863”计划和国家自然科学基金的长期支持下，经过三十余年的不懈努力，由清华大学丁晓青教授开创的研究组，在团队成员刘长松副教授、方驰副教授、彭良瑞副教授共同努力下，在汉字及多文种文字识别、多模式生物特征（人脸、笔迹等）身份认证方面不断取得了多项具有国际领先水平的自主创新研究成果，形成TH-OCR 系列文字识别软件和TH-ID生物特征（人脸、笔迹等）认证软件产品，成功地进行了产业化推广应用。荣获国家科技进步奖四次（2008年、2003年、1999年、1992年）。与多家国际知名公司开展了技术授权和研究合作，包括微软、三星、Nokia、HP等跨国公司，百度、腾讯、阿里巴巴等国内知名公司等。自主创新的重要科技成果包括：

 

1).TH-OCR高性能统一平台多文种文档识别全信息数字化系统，解决多文种(简繁汉、日、韩/朝、英、蒙、藏、维吾尔、哈萨克、柯尔克孜、阿拉伯) 原文重现文档全信息数字化规模化生产，及低质、手写文档和表格识别数据录入的智能信息化问题，整体性能居于国际领先水平。高性能汉日韩文字识别核心在国际竞争中夺标授权微软公司在Office软件中使用。

2).在国内外首次提出并研发成功自动文档全信息数字化系统，具有将复杂版面的报纸等文档经版面分析、识别、理解、最后自动精确重构为原式原样的标准格式电子出版物等功能，“作为一个整体居于国际领先水平”（鉴定结论）。在我国电子出版、数字图书馆工程等信息资源建设中发挥重要作用。

3).多光谱图像钞票鉴伪与识别系统是国内外首个同时具有多光谱图像钞票鉴伪与冠字号码识别功能的实用系统，基于嵌入式DSP和SoC硬件平台，可进行多光谱图像采集、处理与识别，钞票真伪鉴别及券别、套别、版别有效识别，人民币、美元冠字号码识别、记录、存储等，支持29个国家与地区纸币，实时处理和识别钞票的速度高达900张/分钟。首次提出并实现了以真鉴假的钞票鉴伪策略、大幅度提高鉴伪系统防范未知假币的能力，其核心技术被列入国家强制性标准GB16999-2010《人民币鉴别仪通用技术条件》最高技术要求，在大陆及港澳等金融机构广泛使用。进一步研制出具有自主知识产权的ATM机核心验钞模块，打破了国外厂商长期垄断的局面，具有很强的国际竞争优势。该系统研制成功对于维护国家金融安全具有重要意义，经济和社会效益显著。

4).金税工程增值税发票识别防伪系统成功解决了国家金税工程核心难题之一：增值税发票扫描识别问题，为防伪税控系统判别增值税发票的真伪提供依据。税务发票扫描识别系统是集扫描图像处理、表格分类、版面分析、文本图像切分、字符识别、语言模型和后处理等技术于一体的创新系统，实现了对以增值税发票为主的多种税务发票高效、准确识别；达到强噪声干扰、低打印质量条件下的关键数据万分点级别的超低错误率；并可随着所支持的各种税务发票系统的升级而不断改进。该系统在全国推广，极大打击了偷漏税，切实保证金税工程顺利实施，同时也方便了企业的报税过程，社会效益更是极其巨大。随着金税工程的逐步推进，该系统的应用范围覆盖了全国大部分地区，在增值税专用发票管理方面发挥了重要作用。截至2014年底，增值税发票扫描识别系统已在全国7000余个国税的税务大厅和超过100万户企业端广泛使用。

5).多国车牌识别系统提出了利用文字定位为基础的车牌定位算法，以及适用于具有固定排列规则文字的模板匹配算法，结合抗干扰的灰度字符识别核心，具有识别速度快、适应性广、准确率高等特点，支持 PC/Windows、Linux、WinCE、DSP 四种平台。该系统在中国大陆车牌识别的基础上，实现了香港、澳门、台湾，英国等多国/地区车牌号码识别，主要应用有：深圳海关车辆出入境通道、澳门交通管理、内地多条高速公路、交通监控、移动稽查等。此外，集装箱号码识别系统已在美国纽约等地的港口成功应用。

6).车牌识别智能摄像机系统基于ARM、DSP双核平台的硬件设计，采用 500 万像素 CMOS 图像传感器，内置车辆检测与车牌识别算法，并可方便的扩展其它用户需要的算法核心；基于目标识别的成像参数自动控制方法，内置出入口车辆进出控制与监控系统。该系统目前已投入使用，主要应用有：停车场车辆管理、小区车辆出入管理、高速公路收费站等。

研究室在文字识别方面的研究成果已形成系列化软件产品，并推出了嵌入式平台软件版本。产品化成果广泛应用于电子出版、办公自动化、银行、税务、公安等各行业。TH-OCR 系列车牌识别、名片识别、表格识别、纸币与证件鉴伪、邮政分拣、视频字幕识别、自然场景文字检测识别、支票刮擦涂改鉴伪等软件，作为自主知识产权的主流软件产品销往海内外。行业应用方面，在数字图书馆领域拥有上百家用户，成功应用于中美百万册图书数字图书馆建设；应用于多家大型报社的生产流程化管理系统，已成为报业信息化的首选；在电力行业电力标准数字化项目中广泛应用；拥有众多政府机关用户。少数民族文字识别已在中国西藏信息中心、民族出版社等民族地区单位推广应用，有利于推动多元一体的中华民族文化信息化发展及与世界文化交流，有利于国家西部大开发战略实施。

让计算机从“认字”到“认人”，利用人脸图像、手写笔迹等生物特征进行自动身份识别认证，可以代替传统的密码、证件等方式，对于反恐斗争和国家安全具有极其重要的作用。在多文种文字识别领域长期深厚的模式识别研究经验积累，为解决生物特征认证难题提供了自主创新、跨越式突破发展的良好基础。

1).TH-ID人脸和笔迹生物特征身份识别认证系统在解决人脸和笔迹类内变化大、类间差别小的困难模式识别问题上取得重大突破，实现了复杂背景图像和视频中人脸自动检测、识别和认证，千万量级大数据库人脸查询，主动视觉人脸全自动监控，综合手写文档识别的笔迹检索与鉴别等。整体性能上达到了国际领先水平（教育部鉴定结论）。人脸识别技术多次在国内外评测中取得领先成绩，主要有： FRVT2006、ICPR2004、国家863人脸识别认证评测等。 TH-ID系列产品已大规模应用于安全领域，成功地进行了产业化推广，授权多家国内外港台地区（包括美国、日本、韩国、新加坡、芬兰、台湾地区和香港地区等）著名公司使用，经济效益和社会效益显著，极大增强了我国生物特征识别技术的国际竞争力。主要应用成果有：人脸识别系统应用于深圳、珠海、北京、上海等出入境口岸的四百多条“旅客自助查验通道”和2010年上海世博会园区人像采集与比对系统；自动笔迹检索查询系统也已在重要的国家安全项目中成功应用等。

2).TH-IDvs视频监控人脸识别技术与系统针对视频监控中运动、姿态、光照等巨大变化和清晰度低下等条件下的人脸识别难题，通过多视角人脸检测、光照建模处理、姿态等属性估计和超分辨分析等技术，有效解决了在复杂背景和动态视频中存在的姿态、光照、表情、视角、运动、图像清晰度等多种变化条件下的视频序列人脸识别和认证问题，显著提高了大姿态变化下的人脸识别准确率。视频人脸识别系统克服了实际应用中的多重困难，识别性能优于目前公开报道的其他系统，已在公共安全领域实现规模化应用。该项技术由北京海鑫公司完成产业化推广，合作研发的视频监控人脸识别报警系统成功应用于上海世博会、广州大运会、深圳高交会、深圳第八届文博会等；在公安领域的在网追逃人员数据清查“清网行动”，以及全国公民身份证号码查询服务中心的身份信息认证查询服务等成功应用，对维护国家社会安全发挥了重要的作用，创造了突出的社会效益以及重大的经济效益。

3).人脸识别智能相机系统创新性的将人脸识别技术应用于照相机，实现了动态抓拍并快速输出最佳人脸图像。硬件部分采用单摄像头结构，相机模组具有红外和可见光双光源成像功能，可清晰抓取人脸，近距离拍摄人脸图像不变形、不失真；系统采用静默活体检测技术，宽动态及自动曝光技术，适应逆光、弱光、强光环境，使用方便，成本极低，可大范围应用于家电、门禁、医疗保健设备等需要人机交互的场合。目前已完成小批量样机试制，并针对不同的行业用户进行销售，马上进入批量生产阶段，市场前景广阔。

随着国家医改分级诊疗试点工作的逐步展开以及可穿戴设备、虚拟现实技术、人工智能技术的迅速发展，远程医疗将更加深入相关领域和人们的生活。为积极响应国务院印发的《“健康中国2030”规划纲要》的精神，我们开展了智能健康项目的研究。研制中医与人工智能相结合的诊疗信息采集、识别、处理与分析方法，实现基于新型智能化脉诊仪设备的现代化中医诊断体系，加快中医大健康的发展，为全力推进健康中国建设做贡献。

1).基于HRV（心率的瞬时波动）神经信息提取算法的智能健康监控系统，由智能脉搏波信号采集、基于脉搏波信号的心率变异分析、以及智能健康监控服务等系统，构造了一个典型的集互联网、人工智能、与大数据模式为一体的高效智能健康监控管理系统平台。该系统将通过自主研发的智能硬件设备采集人体脉搏波信号和心电信号等生理信号，进行数据分析与挖掘，智能监控人的情绪、注意力集中程度、心脏健康程度、心梗和心律不齐状态、血管硬化程度等生理指标，提供健康风险评估、健康管理干预服务，实现人体健康状况综合评判，建成了一个基于互联网的、方便实用的具有辅助诊疗、辅助研究、辅助学习等功能于一体的中医传承服务平台。

2).中医舌像与药方分析系统是一款针对中医舌诊医疗数据处理的软件，舌诊是中医诊法的重要内容之一，人体健康状况可以直接体现在舌头上。该系统采用图像识别技术，通过将收集到的病人舌像照片和医生药方照片进行特征标注和信息抽取，在积累的特征和信息数据的基础上，针对特定病人的舌像照片提供参考药方，适用于医生舌诊的辅助分析，适用范围广泛。

研究室在智能图文信息处理研究及产业化领先发展方面做出了重要贡献，不仅具有自主创新的国际领先水平技术，而且在产业化应用推广中与国家信息化建设需求结合，取得了可观的经济效益和社会效益。