摘要
我家住4楼，窗外面常有鸟来落脚。有时只是停几秒，有时会在栏杆之间来回跳。我从小喜欢看动物世界，现在家里的娃也集成了这个基因。我们都想知道这些鸟什么时候来、来了几次。于是我翻出一套吃灰很久的 Google AIY Vision Kit：树莓派 Zero，加一块 Vision Bonnet，再接一颗树莓派摄像头。它是 2017 年那波「纸盒子 AI 套件」里的视觉版，板上有一颗视觉处理芯片，可以在本地跑图像分类。目标很简单：平时低功耗盯着窗外，有东西落到指定区域就自动录 10 秒视频；我打开浏览器时，能看到实时画面、最近识别结果和录像列表。现在界面长这样：主界面截图这套东西现在能做到：有活物落到窗台区域时，自动录一段 10 秒 1080p 视频；只保留最近 30 段录像，旧的自动删除；网页上有实时画面、当前识别状态、最近事件和录像列表；识别日志会保留最近 1000 条，重启后也不会丢；录像页可以直接预览，也可以下载；所有推理都在本地完成，不依赖云服务。下面这2只灰喜鹊，就是它自己抓到的。灰喜鹊硬件不新，但刚好够用这套硬件很老：Raspberry Pi Zero，性能非常弱；Google AIY Vision Bonnet，负责跑视觉模型；一颗树莓派摄像头，贴着窗玻璃看外面；系统还是 2017 年前后的老镜像。Google 当年给 Vision Kit 准备过几类模型。官方介绍里提到过 MobileNets 物体识别、表情识别、人/猫/狗检测等 demo；AIY 模型页面里也能看到 Vision Kit 支持的模型类型。我的镜像里真正能稳定跑起来的，是一个基于 MobileNet 的 ImageNet 1000 类通用分类模型。我本来想用更适合自然观察的 iNaturalist 数据集相关模型，毕竟它面向真实世界的动植物照片。可惜这块老镜像和老 Bonnet 的工具链太旧，折腾到最后还是回到通用分类模型。这也决定了后面的故事：老模型不太会认鸟——但也是这个特性，让后面的识别结果更好玩了。先让相机省着干活一块 Pi Zero 同时做直播、录像和 AI 推理，很容易把自己拖死。我的做法是把任务拆开：空闲时： 只跑一路 640x360 的低码率 H.264，用运动矢量判断 ROI 有没有动 有动静： 抓一帧 1080p 原图 裁出窗台/落脚区…
摘要可能不完整，可查看原文