Moments官方简介:
备份每一个难忘时刻
移动设备的存储空间不会再限制您的想象力。可将日常生活拍到的照片安全备份到 Moments 中,并轻松释放空间。所有照片将以时间线模式显示,使用体验跟智能手机一样。
根据主题对时刻进行分组
Synology NAS 的深度学习算法可将随意拍摄的相片依相似的脸孔、主题与地点自动分类。
回顾记忆
无需在手机屏幕上来回滑动,也能快速找到您要的特定相片。只需简单地将关键词输入搜索字段,所有相关结果便会立即出现。您可以随时随地与家人朋友分享镜头捕捉到的珍贵片刻。
与家人协作编辑旅行照片
切换到共享照片库后,您和授权用户能够协作编辑照片和相册,同时确保您的个人照片保存在“我的照片库”中,为私人所有。
体验过程中遇到的问题
重复文件
重复文件
重复文件
经过大量网络搜索,解决Moments重复文件大致可分为以下几种:
- 存储空间分析器,官方介绍可以进行MD5比对。但在我的使用过程中,自带的MD5比对有点不靠谱,同时不管我怎么设置,都只能生成不到200条重复数据,对于我这种数据量比较小的也不够用!还要选中每一条再进行删除,我这么懒的就不考虑了;
- 挂在磁盘到本地,利用duplicate cleaner进行重复文件处理。在测试中,发现duplicate cleaner需要将NAS上所有文件下载文件到本地读取一遍才能完成,也是动辄几小时,等不起呀,pass;
- 通过群晖上的Pythons自定义脚本,来实现删除相同的文件,脚本叫“delete.py”\“deleteemp.py”,可惜怎么也找不到这个脚本……
本人思路
既然NAS上自带Python,何不用Python脚本批量导出Moments文件夹中所有文件名、MD5值、文件大小,然后用Excel筛选出需要删除的文件,再用shell脚本批量删除不就完了吗?虽然有极少部分文件不同但MD5值相同的概率,但是再加上文件大小比对,应该只有极小极小的可能会错误删除吧。
“想象很美好,现实很骨感”,NAS中自带的Python是被阉割的……
安装完整版Python3
参见上一篇 笔记 群晖安装第三方Python3
代码部分
md5.py
import hashlib
import os
import io
import sys
def printUsage():
print ('''Usage: [python] pymd5sum.py ''')
def geneMd5(filename):
m = hashlib.md5()
try:
file = io.FileIO(filename,'r')
except PermissionError:
return "error"
bytes = file.read(1024)
while(bytes != b''):
m.update(bytes)
bytes = file.read(1024)
file.close()
return m.hexdigest()
def main():
if(len(sys.argv) != 1 and len(sys.argv) != 2):
printUsage()
mat = "{:1}\t{:32}\t{:1}"
if(len(sys.argv)==1):
path="./"
if(len(sys.argv)==2):
path=sys.argv[1]
for fpathe,dirs,fs in os.walk(path):
for f in fs:
full_file = os.path.join(fpathe,f)
#去除@eadir目录
if "@" in full_file:
continue
print (mat.format(full_file,geneMd5(full_file),os.path.getsize(full_file)))
main()
md5.sh
#!/bin/sh
python3 ./md5.py > file_info.txt
生成文件夹下所有文件的MD5值和文件大小到file_info.txt
1、上传两个文件到Moments目录下
2、ssh链接NAS,进入Moments目录
cd /var/services/homes/用户名/Drive/Moments
nohup ./md5.sh &
3、等待……
利用Excel筛选要删除的文件
1、将file_info.txt文件内容拷贝到Excel,按MD5值和文件大小进行排序
2、D2单元格输入公式,下拉自动生成
=COUNTIF(B:B,B2&"*")
=IF(B2&C2&"*"=B1&C1&"*",D1+1,1)
3、E2单元格输入公式,计算文件名长度
=LEN(MID(A2,FIND("@",SUBSTITUTE(A2,"/","@",LEN(A2)-LEN(SUBSTITUTE(A2,"/",""))))+1,10000))
操作完以上步骤后,将所有公式生成的数据转换为文本,避免再次计算
Ctrl+A、Ctrl+C、右键粘贴为数值。
4、重复文件删除依据:重复文件只保留文件名最短的1份(不分目录),F2单元格输入公式下拉
=IF(B2&C2&"*"=B1&C1&"*",F1+1,1)
对重复文件进行编号,再次进行排序
筛选编号为1 ,删除掉,这一部分就是最后要保留的
生成shell删除命令
G2 rm
H2 ="'"&A2&"'"
下拉填充后复制到记事本
5、生成.sh文件
记事本首行添加 #!/bin/sh ,替换制表符为空格,最后记得
删除操作
最后一步,上传生成的sh文件到Moments目录,执行命令
cd /var/services/homes/用户名/Drive/Moments
nohup ./文件名.sh &