小相机大作用!相机在精准养殖中的应用

供稿:猪猪侠

点击:

A+A-

相关行业: 生猪

关键词:

    我要投稿

    2f8b4ed3e4bb91a879931c1cc11e972a_05e61078cc6eb1e8fa7a441c4d874d93867f78d8.png

    简单总结:

     

     

     

    精准养殖(PLF)的首要目的是为有确定性点严重问题提供性价比更高的直接解决方案。PLF中的一些数据收集技术(例如RFID)很精确,但对于中小型农场来说是负担不起的。

     

     

     

    另一方面,与精密养猪业中的其他传感器系统相比,摄像头传感器价格便宜、普遍可用且易于用于收集信息。摄像头能够以低成本实现对猪的高精度监控。然而,关于摄像头在养猪生产中的应用的针对性信息的缺乏带来了一些应用限制。这篇综述详述3D成像系统(即深度传感器和飞行时间相机)以及用于有效识别猪行为的2D相机的最新技术,在监测和调查猪喂食、饮水的自动化方法、睡觉、移动、攻击性和生殖行为方面的应用。此外,该综述总结了相关文献并指出了为未来研究人员探索开辟新维度的局限性。

     

     

     

    1. 引言

     

     

     

    1.1 精准养殖应用的关键驱动因素

     

     

     

    根据经济专家的预测,到2050年,世界人口将接近100亿,比目前人口多23%。此外,根据统计报告,由于传统农业实现的粮食产量较低,要养活额外的30亿人口将出现相当大的缺口。由于全球每年消费3.5亿吨肉类,需要大幅提高肉类产量,减少土地使用,以避免未来几十年的饥饿。猪肉是总消费量第二大的肉类,鸡肉、猪肉和牛肉加起来占全球肉类产量的92%。因此,有必要采用更先进的方法提高产量,如精准畜牧业(PLF),而不是传统的耕作方法,如不受控制的环境/小气候、粗犷式畜牧业。

     

     

     

    在本世纪20年代,一些国家实行传统方法,雇佣人来看管动物,这样成本颇高。动物的健康和福利仍然是农场的首要目标。虽然人员饲养大多数猪场能够负担,但人员饲养只是依靠观察,这样可能会错过关键指标。

     

     

     

    例如,动物的体温是监测繁殖重要指标,温度调节是维持动物动态平衡的重要途径。通常测量直肠温度表示动物体温,包括心率、呼吸速度等指标,这些方法是需要工作量,但技术发展可以减少这些工作量。当尝试使用技术而不是传统方法来测量温度时,可以使用温度传感耳标(也可以用来检测热应力)、可穿戴和植入式设备、热成像相机、红外传感器等,但到目前为止相应的方式有限,因此没有在文献中进行全面讨论。

     

     

     

    20世纪80年代中期,像PLF这样复杂的农业战略是科学文献中讨论的一个主要话题。在发展中国家,PLF被认为是不可能的。在科技使用率创历史新高的本世纪,发展中国家超过50%的农民已经能够使用互联网,而不仅仅是智能手机。此外,由于负担得起的传感器、执行器、微处理器、基于物联网的监控系统和大数据分析等先进技术的出现,PLF自适应近年来取得了进展。2020年,全球精准畜牧市场的价值为31亿美元,预计到2025年将以9.0%的综合年增长率增长到48亿美元。近年来,由于环境对仔猪的影响,以及生长期更频繁发生的热应激、呼吸问题等健康问题,猪的PLF需求一直很高,因为生命的每个阶段的死亡率都在增加。因此,为了提高养猪的生产成绩,我们需要在每一个阶段都进行精准监测。此外,消费者还要求在食品生产中为母猪和仔猪有更好的养殖环境。许多研究已经回顾了传统和精密农业的对比,现在为大家一一列举:

     

     

     

    效率--通过减少浪费来可持续地利用资源(可使用摄像机、流量计、饲料秤等监测饲料和水的摄入量和浪费)

     

     

     

    早期疾病检测--借助软件使用摄像机诊断活动变化,使用环境参数(通过摄像机、加速计、红外传感器等评估热应力)进行疾病检测,以及改善动物福利(咬尾巴、打架等)

     

     

     

    环境管理-保护动物免受环境应激源的影响(PLF可以调节环境应激源,如温度、湿度、气流、通风等)

     

     

     

    动物的工作量可以减少,或者它们可能会因为围栏内的人类活动而受到外部压力。

     

     

     

    信息和个体监测-可视化(可通过收集饲料摄入量和猪的体重数据来计算饲养效率[17-19];体表温度数据可用于跟踪热应激)。所有的数据,包括身体运动、表现、生物信息、声型属性等,用于检测猪群和个体的特征。

     

     

     

    1.2 综述目标:

     

     

     

    PLF的目的是肯定地为严重的问题提供负担得起的、直接的解决方案;一些传感器系统(RFID)是准确的,但对于中小型农场来说是负担不起的。此外,因为PLF对设备、技术有一定的要求,因此许多猪场不愿使用PLF。另一方面,与猪舍中的其他传感器系统相比,摄像头传感器很常见,可以很容易地收集信息数据。猪具有攻击性和对新事物的好奇心,其他猪可能会咬/弄坏传感器。但目前为止,虽然已经出现了几项识别、跟踪和分类行为,并尝试使用2D/3D相机早期检测猪的疾病,行业内关于摄像头传感器的相关信息仍然较少,这是一个很致命的缺陷。

     

     

     

    2  摄像头在精准养殖中应用简介

     

     

     

    图像采集是任何基于图像的分析的第一步,可以定义为通过摄像机捕获数字信息。在过去的二十年里,通过从图像中提取信息,图像被用来改善动物的福利。CCD摄像机可以捕捉物体的二维(2D)彩色图像,可用于进一步分析。这些图像以数字形式给出关于颜色(RGB)、纹理、形状、宽度、高度、像素值等的信息。通过使用图像处理技术,RGB色带(红、绿和蓝)还可以生成灰色、色调、饱和度和强度因子。像素值可以与猪的实时测量相关联,以开发一个简单的程序来找出猪的长度,而不需要测量另一头猪的长度。同样,使用2D图像可以很容易地利用图像处理技术找到猪的体重、周长、身高和其他身体信息。

     

     

     

    使用深度传感器构建3D图像的方法成本更低也更容易操作,但是光、背景噪声等外部因素的波动会导致深度传感器的相对误差。尽管很可能会收集到带有噪声的数据,但可以通过校准和预处理技术来解决这一问题。最近的研究是使用深度信息来构建3D图像,然后将这些图像用于面部识别、活动识别和其他类型的形态学识别。

     

     

     

    3 猪的识别

     

     

     

    3.1 猪脸识别

     

     

     

    猪的识别由来已久,诸如夹耳、割耳、贴耳标记、微芯片、电子识别装置(EID)以及在猪皮上编号或标记等技术。射频识别器(RFID)是识别猪的常用设备。RFID是带编号的耳标的高级版本,无源电子标签由射频识别器(RFID)组成,它通过微芯片和盘绕铜天线向读取器发出信号。低频(低频:125千赫或134.2千赫)、高频(高频:13.56兆赫)和超高频(超高频:860960兆赫)是射频识别系统的三个主要频率范围。尽管RFID具有结构简单、成本低和可靠的身份识别相关性等优点,但下列情况会造成识别失败:

     

     

     

    范围:RFID 的范围有限(即使是远距离阅读器也规定最大距离为 120 厘米),在此范围内标签可以被激活并成功读取。另外,不能同时读取多个标签;因此,数据可能不可靠,因为猪很顽皮并且聚在一起。

     

     

     

    可读性:由于磨损、破损和弄脏等原因,耳标 RFID 可能变得难以辨认 

     

     

     

    丢失:打斗或玩耍时耳朵撕裂可能导致标签丢失。这是可能的,因为猪舍有金属物体;此外,猪还喜欢玩塑料制品。此外,RFID 标签经常暴露在污垢、灰尘和水分过多的恶劣环境中,并且它们必须在极热和极冷的环境中发挥作用,从 -30℃到 70

     

     

     

    福利:RFID 应用不当可能会导致感染或耳朵损伤。此外,耳标通常都反复使用,这增加了感染的可能性。

     

     

     

    RFID在识别动物方面的局限性已经通过使用摄像头面部识别来克服。借助人脸识别技术,猪脸识别技术也获得突破,譬如通过猪眼区域,鼻子,皱纹和欧几里德距离等特征数据完成识别。Hansen等通过使用fisher面部,VGG面部模型和deep-CNN算法证明了猪面部识别,最终准确度为96.7%。同样,Marsot等利用深CNN模型识别猪脸。Marsot等人已经证明,这种面部识别模型不受年龄的限制;此外,他们可以在拍摄照片或视频一个月后识别面部。其他研究人员使用深CNN模型在农场一级识别10-16头猪,使用2D图像在不到1秒(每幅图像0.002秒)的时间内准确率超过90%

     

     

     

    3.2 活重检测

     

     

     

    活体重量对于猪和鸡的饲养管理至关重要。研究表明,一头猪的饲料成本是总生产成本的75%或更多。定期监测猪的体重能更好的优化成本,因为食物摄入量和体重增加是线性相关的,借此能够发现饲喂不足或过度饲喂的问题,同时也可以对评估繁殖质量和生长率、繁殖期、饲料转化率和疾病发生率的指标做出评估。此外,损益帐目可以使用与当前市场状况相关的实际权重进行评估。

     

     

     

    最初,猪的体重是全靠目测和手摸,后来采用称重方式,但是费时费力。后来引起间接测量的一些方法,根据猪身体尺寸(长度和周长)估算体重,虽然存在一些不足,但也证明了形态和体重之间的相关性。譬如说测量了猪的身长(尾巴到肩胛骨)、腰围、背部和肩部高度以及宽度(同一头猪被捕获的体重为30-80公斤),错误率为6.2%,有人也使用CCD摄像头来评估猪的身长、宽度(从肩胛骨到鼻子的长度,从尾巴到肩胛骨的长度,肩宽,中部宽度和背部宽度)和边界面积来计算体重。当然这样会存在弊端,CCD摄像头是俯视测量,譬如猪的高度、周长等参数难以获得,但经过技术迭代,目前已经解决,设置了新的参数如面积、凸起面积、周长、偏心率、长短轴长度和边界检测。通过边界检测、背景去除、灰度图像转换、头部和尾部去除等预处理技术提取特征,并利用ANNVQTAM对这些特征与体重进行相关分析。目前使用的3D深度摄像头,通过传感器收集深度、信息,通过处理使体重误差缩小到0.374-4.6%

     

     

     

    3.3 生长模式及重量计算

     

     

     

    通过体重测算,系统还能够自动分析出整齐度、腿部特征、身体特征等,目前评定猪的质量、体积通常采用与活体称重相同的形态学参数,以及脊椎、侧肋等。细节如下:

     

     

     

    1、消瘦-明显检测到肋骨和其他骨骼;

     

     

     

    2、瘦-施压时很容易检测到肋骨和其他骨骼;

     

     

     

    3、理想-施压时几乎检测不到肋骨和其他骨骼;

     

     

     

    4、脂肪-没有检测到肋骨和其他骨骼;

     

     

     

    5、过度肥胖-没有检测到肋骨和其他骨骼。

     

     

     

    此后,Condotti等人2018年的研究中,使用深度传感器评估育肥猪质量,通过提取体型信息,最终准确率高达99%,而猪的体表是基于YoshidaKawasue的脊椎面积测量和周长建立的3D模型。Xtion传感器是更为便捷的测定体系,通过红外等方式,收集猪的体长、臀宽、臀高和胸围等信息。

     

     

     

    3.4  猪只的个体识别和跟踪

     

     

     

    先前,猪的个体识别信息主要是行为识别,包括攻击性、姿势和运动,或者是RFID耳标,但这花费不小。因此,通过人工智能技术将猪的个体识别,调整为一种通过摄像头的视觉技术即可完成。

     

     

     

    起初,该技术是通过2D摄像头完成识别,后来升级为3D深度摄像机,通过形态学特征完成识别。至今,识别技术更为丰富,包括基于GMM的背景剔除、降噪、形态学识别、椭圆拟合、图块分割等等(这些技术并没有一一搜索专有名词)。

     

     

     

    但是在识别过程当中,也会存在问题。最大的影响因素就是光。当猪场照明条件不足时,便很难找出猪与猪的区别,尤其是苍蝇较多的场,镜头很容易被覆盖住。目前识别较快的应为使用otsu法,对图像进行分割识别,附带YOLO9000,检测时间为8.71ms。本研究使用了Otsu的阈值法进行图像分割,并使用YOLO9000进行更快的检测。该方法在训练过程中使用混合光照图像进行训练,并成功验证了95%的实时准确率;检测单位时间为8.71ms/图像,大大低于其他CNN技术。

     

     

     

    4. 行为和动作检测

     

     

     

    4.1 姿势检测

     

     

     

    有专家研究指出,猪每天有86%的时间在躺着,因此准确识别猪的卧姿非常关键。而温度对猪只卧姿影响更大,通常室温变化4℃,便能够影响猪只,若变化超过8℃,则会产生显著影响。我们评价猪对温度的适应程度有一个专用名词,热舒适度。2008年,shao建立了实时姿态检测模型,通过xy坐标对视频中猪的运动进行检测,更合理的识别出猪的运动特征。后来,有人用椭圆拟合技术来定位猪,即通过椭圆的长短轴、方向、质心等椭圆参数,与猪的特征进行匹配。随着这项技术模型的不断迭代,准确率达到了94.2%,敏感度达到94.4%。当然,除了温度,空间、昆虫、地板类型、营养管理或者是辐射都会影响猪的姿势。

     

     73ffd320fba655ee7fcf3a743da70b0c_ffbf8c826b6fca45bc2087efdcc43eb7758b9c1c.png

     

    4.2  运动与跛行

     

     

     

    根据肉类协会专家统计,跛行每年造成经济损失超过150万美元,跛行的原因较多,地面、卫生、遗传、营养等均为引起猪只跛行。其测定方式逐步发展,2D摄像头、IR摄像头、GOPRo以及网络摄像头。集原理也在不断升级,由原先的像素计算、光流(OF)估测、到收集移动频率的MIA技术。

     

     

     

    此前,Stavrakakis研究了一种传感器,用于评估猪的行走模式,但似乎并不完善。因为猪的运动会被温度、身体状态甚至是心理影响,因此对猪运动的研究还远远不足。

     

     

     

    4.3  攻击行为

     

     

     

    打斗是群体动物的特性,一旦出现伤亡,很可能会影响猪群健康,这也是我们必须监控的一件事情。通常,我们会讲攻击行为分为以下两类,一是就是闹着玩(头撞头、头撞身子、相互摩擦);另一个就是真咬架(咬脖子、咬身体、咬耳朵)。

     

     

     

    Viazzi提出的算法中,只要猪接触超过5s,就认定为攻击,并生成运动历史图像(MHI),该算法通过对150MHI分类后,判断准确率为89%、敏感度为88.7%。后来应用人工神经网络对猪只攻击行为进行判断,结果严重攻击行为敏感度为96.1%,准确率为99.8%

     

     

     

    4.4  咬尾

     

     

     

    咬尾是养猪业一个严重问题,至今也没有一个准确的定论,呼声最高的解释就是缺乏营养物质。咬尾能够降低生产成绩来,这是由于伤口会导致猪只感染,同时疼痛会降低采食量,减缓生长。据统计,群体饲养的猪咬尾几率约为70%。虽然断尾在一定程度上减少了咬尾活动,但这也不是标准方案。有研究从文献当中收集了4种咬尾前的明显症状,具体如下:1、尾巴变尖;2、多动;3、好奇;4、害怕、好打架。

     

     

     

    另外,有研究对猪栏使用俯视3D摄像机,分别采集尾部损伤、伤口新鲜度、尾部长度和肿胀几个指标,预测尾巴姿态,但是精确性很差,因此,咬尾问题的智能识别还有很长的路要走。

     

     

     

    4.5  采食和饮水解决方案

     

     

     

    猪的饮、食息息相关。可以通过RFID接收器进行识别。非营养性拜访(NNV)主要是指猪来到饲喂区却不吃料,这很可能会给其他猪一个错误的信号,导致其他猪争先恐后的挤到饲喂区,造成损伤。因此,合理摸清猪的进食规律是很有必要的。有人对母猪的头在料槽中上下移动头部,便认定为在吃料,这对判断猪的状态准确性很高。

     

     

     

    对于饮水也是一样,也会存在NNV的情况。对于饮水采集,通过CCD摄像头采集猪的视频,通过图像预处理,通过计算目标值,确定质心,采用椭圆拟合的方法,完成识别。

     

     

     

    猪场水平的早期疾病预测

     

     

     

    疾病早期预测是降低感染和死亡率的主要方法。2018年中国因为非瘟扑杀了2亿头猪,韩国扑杀了800万头猪,所以,疾病检测对猪场健康至关重要。

     

     

     

    一般来说,任何感染都会导致虚弱、发烧和精神懈怠。因此监测饮、食、睡眠和散步等活动非常重要,行为变化是跟踪动物健康的一种方式。我们已经讨论了识别和跟踪猪的行为;另一个重要的指标是猪的体表或部位的温度。由于大多数感染都会引起发烧,体温波动是识别牛病毒性腹泻(BVD)、鼠伤寒沙门氏菌感染、大肠杆菌感染等的简单方法。

     

     

     

    猪的体温在身体的不同部位是不同的;每个部位,如眼睛、鼻子和腿,都有不同的正常温度水平。利用红外热像仪图像找出温度是最近成为标准的一种成功的方法。此外,在24小时内给出活跃度评分,也能迅速识别受感染的猪,早期处理有助于缓解跛行。

     

     

     

    猪没有汗腺,因此使用IR热呈现是测定体温的有效方法。测定猪的体温,主要包括耳后、背部、腰部、外阴、大腿外侧、乳腺、眼部等。譬如生病前后的温度变化发现病猪,嗜睡也是识别非瘟的一个有效办法。

     

     

     

    摄像头能够监控健康猪和发病猪,并使用相关指标进行判断。分为4个阶段:

     

     

     

    非瘟消极(1-11天)、感染时间(12-15天)、qPCR检测(16-18天)和临床检测(19-23天),并用光流法进行计算,分为感染前与感染后两组进行识别判定,结果如何文中并未提到。

     

     

     

    6. 摄像机传感器的实时性挑战与局限性探讨

     

     

     

     

     

    1:猪舍中用于识别、活动检测和早期疾病检测的摄像机传感器(示意图)

     

     

     

     

     

     12df3aa9e7dea9cb0e124c8e848cc7a7_3c62767e6b9e88ea974d0320d89f795083b3d526.png

     

     

     

    2a:Hansen等人提出的面部识别系统。在2018年;

     c8fbeb27e39bf3ad85977fe02bedc5cd_a793eb7f1cab6880988b89e18f07983c6a19fa75.png

    b:使用基于LabVIEW的双目立体系统估计生猪体重。

     

    c:使用点云数据测量和检测猪的胸围。

     

     

     c3a87300b1cad1e7dc7858a8f9c66eb8_135a4c9aebced9c4357920796539d23318324202.pngdb2ee4c34c359943fd7d3f32257ef874_123bdc6b0db29f646c84aeac815c80ef0f374e8d.png

     

     

    3. 攻击相关运动像素的提取过程:(a)前红外帧,(b)前深度帧,(c)后红外帧,(d)后深度帧,(e)后减前深度帧,(f)前减后深度帧,(g)运动像素的提取结果,(h)二值化结果,以及(i)应用Chen创建的阈值设置后的攻击相关运动像素的提取结果。

     

     9916102f351dbdd53bcac61de0e64383_21d85238a85dc461edccdc435550560ce6948f49.png

     

     

     

    4. (A)伊斯兰采集的对照、鼠伤寒沙门氏菌血清型和大肠杆菌感染猪的热像;

     

    (B)Nasirahmadi等人用Delaunay三角法识别猪的躺卧模式。

     

     

     

    尽管技术进步很快,但任何技术都有局限性。与其他PLF技术类似,相机传感器也有一些限制,这些限制影响了它们在猪场的实施。这些限制需要未来的研究人员来解决,以提高PLF的效率。本综述中选择的大部分研究是在大学、模型猪舍、实验场、实验室和研究所进行的。由于不同地区的环境和生态不同,这些研究中的基本事实有很大的不同。例如,8℃的室内温度的变化对模式有很大影响。同样,室内温度在调节猪的体温方面起着至关重要的作用,并会引起躺卧、进食和饮水行为的波动。

     

     

     

    因此,模型和田间之间的差异是显著的;如果在试验场和实际的猪舍采用相同的系统,可能准确性就会出现波动。事实上,这些模型根据地区、国家、农场规模和品种的不同而有不同的精确度;因此,仍然缺乏全球模型的开发。此外,每个模型都应该得到区域遗传学的验证,因为每个物种及其表现都取决于遗传、环境、区域气候条件和食物。

     

     

     

    即使研究人员开发了全球或区域模型,他们也需要数据来训练算法;因此,猪场需要收集图像数据来更新模型。在这种情况下,摄像头应用需要强大的计算机、无线通信和互联网;由于电信行业的商业政策,发展中国家的村庄仍在为电信接入而苦苦挣扎。

     

     

     

    在大多数情况下,摄像机应该不断地监控猪,标记异常行为。在这种情况下,监控系统应该生成许多数据点,但是数据量巨大,而且是史无前例的。例如,假设2D摄像机正在捕获猪圈的视频;如果5分钟的视频的文件大小为500兆字节(对于高分辨率摄像机,文件大小甚至更高),这将在一天内产生141 GB的可视数据,每月大约产生4TB的可视数据。这大大增加了猪场的运营成本。当然,IRI或其他深度图像比2D图像需要更多的存储空间。但是要知道,数据驱动的最佳决策有赖于计算机科学的先进发展。

     

     

     

    我们需要通过对比研究,优化算法,更有效地利用摄像机数据。例如,YOLOV5是一种最新的机器学习技术,它重量轻,但识别能力强大;如果我们将其与其他型号进行比较,我们就会意识到YOLOV5是多么强大和快速。

     

     

     

    总结

     

     

     

    农业技术发展依赖国力、经济实力与文化层次,尤其是研究人员与从业人员的知识差异,因此这并不会是中小型猪场的最佳选择。就目前的发展来看,想要更好的普及,需要更少的传感器、更实惠的价格、更准确的数据以及更简单的操作。


    (审核编辑: 猪猪侠)

      我来说两句(0人参与评论)
        加载更多