go-common/app/job/main/videoup/CHANGELOG.md

766 lines
18 KiB
Markdown
Raw Normal View History

2019-04-22 10:49:16 +00:00
# videoup-job
##### Version 1.31.1
>1.修改新人稿件过审的链接
##### Version 1.31.0
>1.联合投稿对接动态
##### Version 1.30.2
>1.升级账号API为grpc服务,简化配置
##### Version 1.30.1
>1.规范化waitGroup使用
##### Version 1.30.0
>1.投稿发动态支持投票业务
##### Version 1.29.2
>1.活动被管理员取消时,发送系统通知
>2.新用户首个稿件过审,发送系统通知
##### Version 1.29.1
>1.支持稿件发动态支持LBS
##### Version 1.29.0
>1.支持ugc付费流转
##### Version 1.28.2
>1.fixbug稿件封面存储支持第三方源转存到bfs/archive 替换https:
##### Version 1.28.1
>1.稿件封面存储支持第三方源转存到bfs/archive 替换https:
##### Version 1.28.0
>1.稿件封面存储支持第三方源转存到bfs/archive
##### Version 1.27.9
>1.家长模式支持一审视频聚合到稿件
##### Version 1.27.8
>1.AI补全封面时不再指定第一P
##### Version 1.27.7
>1.切片落库,没有耗时操作 走同步写库逻辑
##### Version 1.27.6
>1.评论开关迁移至videoup-report-job改为稿件状态联动
##### Version 1.27.5
>1.稿件动态pub 新增show=2标识粉丝动态禁止属性
##### Version 1.27.4
>1.邮件迁移至videoup-report-job
##### Version 1.27.3
>1.archiveState橙色通过剔除活动稿件
##### Version 1.27.2
>1.archiveState 区分审核修改导致的稿件聚合取消审核导致的修复待审case
##### Version 1.27.1
>1.新增bvc消费延迟短信告警
>2.去除bfs_videoshot双写
##### Version 1.27.0
>1.新增queueRedis 处理耗时任务 目前已经迁入切片逻辑
##### Version 1.26.13
>1.同时消费mail的新旧list, 约定时间点从旧list切到新list
##### Version 1.26.12
>1.split mail to new list
##### Version 1.26.11
>1.定时发布表增加软删除字段deleted_at
##### Version 1.26.10
>1.签约up主报备邮件跟其他报备邮件隔离
##### Version 1.26.9
>1.tag同步全部迁移到videoup-report-job
##### Version 1.26.8
>1.新增转码错误XcodeFailCodes
>2.fix videoshotAdd imgURL 验证
##### Version 1.26.7
>1.fix videoshotAdd binURL 验证
##### Version 1.26.6
>1.videoshotAdd binURL 验证
##### Version 1.26.5
>1.移除视频和稿件删除时的任务删除
##### Version 1.26.4
>1.移除创作姬推送消息
##### Version 1.26.3
>1.完全迁移一审任务
##### Version 1.26.2
>1.移除 manager.logger无用表
##### Version 1.26.1
> 1.迁移一审任务
##### Version 1.26.0
>1.彻底移除dede库
##### Version 1.25.28
> 1.xcode_hd_finish 支持视频meta width,height,rotate
> 2.profile error (rpc timeout) 时设置 profile=nil 防止默认值 0 bug
##### Version 1.25.27
> 1.移除第一次过审过渡代码
##### Version 1.25.26
> 1.修复redis hash未正常过期
> 2.规范timeformat兼容(0001-01-01 00:00:00)的零时格式
##### Version 1.25.25
> 1.sql 修复类型不识别导致任务分发失败
> 2.定时删除过期task_dispatch_extend
##### Version 1.25.24
> 1.修复formattime时间解析错误
##### Version 1.25.23
> 1.databus 消息加recover防止无限失败
> 2.移除bvcAllSub
##### Version 1.25.22
> 1.移除shotjob 下沙废弃的消费者
##### Version 1.25.21
> 1.fixbug 修复二转失败时消息推送panic
##### Version 1.25.20
> 1.fixbug retry开评论剔除掉评论无法开启case
> 2.fixbug 优化syncBVC retry逻辑
> 3.fixbug 优化retry 重试间隔为200毫秒
##### Version 1.25.19
> 1.拦截三查阈值为0 情况
##### Version 1.25.18
> 1.迁移bm
##### Version 1.25.17
> 1.邮件发送结果存行为日志
##### Version 1.25.16
> 1.增加视频没有找到的校验
##### Version 1.25.15
> 1.修正权重取值错误
##### Version 1.25.14
> 1.新增上海云立方VideoshotpvSub消费者
##### Version 1.25.13
> 1.添加最小权重值,防止任务一直降权
> 2.修复普通任务权重分值取错误
##### Version 1.25.12
> 1.修复特殊任务的权重计算错误
##### Version 1.25.11
> 1.定时任务和普通任务权重互斥
> 2.添加权重配置的有效时间
> 3.无效的任务进行删除
##### Version 1.25.10
> 1.指派任务均匀分配
> 2.任务权重新增按分区和投稿来源配置
> 3.权重分值可配置化
##### Version 1.25.9
> 1. videoshotDown error -404 不用重试直接失败
##### Version 1.25.8
> 1. 清理一波job 各种错误的error
##### Version 1.25.7
> 1. 稿件审核后台计数接入statView-T
##### Version 1.25.6
> 1. 每日10点删除一个月前的任务以及三个月前日志
##### Version 1.25.5
> 1. bfs_videoshotpv双写
##### Version 1.25.4
> 1. 取消指派任务的插队
##### Version 1.25.3
> 1. 修改权重分值
##### Version 1.25.2
> 1. 迁移目录到main
##### Version 1.25.1
> 1. up消息小助手明确是回查阶段 稿件开放状态下有修改才发通知
##### Version 1.25.0
> 1. 将老videoshot迁移进来
> 2. 移除无用的dede同步
##### Version 1.24.3
> 1. 兼容任务的指派插队逻辑
##### Version 1.24.2
> 1. 稿件修改消息小助手
##### Version 1.24.1
> 1. 修复rpc请求过于频繁
##### Version 1.24.0
> 1. 添加一审任务权重
##### Version 1.23.18
> 1. account v7
##### Version 1.23.17
> 1. add contributor reviewer + author
##### Version 1.23.16
> 1. archive_first_pass log添加aid
##### Version 1.23.15
> 1. fix archive_forbid 聚合bug
##### Version 1.23.14
> 1. fix redigo nil err
> 2. fix 视频删除后对xocde_sd_finish消息不聚和稿件状态
##### Version 1.23.13
> 1.第一次过审重构,查询双写
##### Version 1.23.12
> 1.邮件发送失败后,所有收件人单独发送
##### Version 1.23.11
> 1.新增syncBVC 详细日志 支持aid追溯
> 2.二审修复待审提交不调用syncBVC
> 3.ugc cid 转 pgc 时通知不可播
##### Version 1.23.10
> 1.去掉使用Covers的地方全部使用AICovers
##### Version 1.23.9
> 1.粉丝动态推送支持传递dynamic
##### Version 1.23.8
> 1.fixbug 解决ArchiveNotify-T 时间兼容
##### Version 1.23.7
> 1.对接B博动态
##### Version 1.23.6
> 1.被删除分p不进待审和任务分发
##### Version 1.23.5
> 1.去掉xcode_sd_finish 里 补发first_round消息逻辑。理由是不清真补丁功能
##### Version 1.23.4
> 1.删除分P 不再更新dede.dm_index dm_indexdata
##### Version 1.23.3
> 1.非特殊分区私单定时发布时,稿件进入四审
##### Version 1.23.2
> 1.增加bvc video日志
##### Version 1.23.1
> 1.增加bvc日志
##### Version 1.23.0
> 1.重构job对接新表
##### Version 1.22.3
> 1.增加一审开放、编辑稿件无改动切为开放的时候同步res库
> 2.一审非开放时,不再关闭评论
##### Version 1.22.2
> 1.将稿件属性第13位hideclick改成limit_area
> 2.添加goconvey test
#### Version 1.22.1
> 1.私单四审 修改稿件聚合支持私单业务
#### Version 1.22.0
> 1.私单四审
#### Version 1.21.13
> 1.syncBVC 通知视频可播 判断条件换成 IsNormal == false
#### Version 1.21.12
> 1.video Resolutions HD 新增 112
#### Version 1.21.12
> 1.prom统计分发二审计数
#### Version 1.21.11
> 1.自动获取稿件封面的源优先为ai视频云次之
#### Version 1.21.10
> 1.up_from=6的合作嵌套稿件流程变更
> 2.pgc稿件不进ugc的回查流程
#### Version 1.21.9
> 1.视频云消息触发统一新表状态
#### Version 1.21.8
> 1.prom统计一转二转及一审计数
#### Version 1.21.7
> 1.修复panic
#### Version 1.21.6
> 1.prom统计一转二转耗时
#### Version 1.21.5
> 1.发送创作姬的推送消息中"点击查看"从URL改成文字显示
#### Version 1.21.4
> 1.发送创作姬的推送消息
#### Version 1.21.3
> 1.支持一审打回/锁定发送报备邮件,统一邮件发送逻辑
#### Version 1.21.2
> 1.支持私单报备邮件
#### Version 1.21.1
> 1.新版prom databus,retry prom 计数
#### Version 1.21.0
> 1.新增 databus,retry prom 计数
#### Version 1.20.4
> 1.upos实验室上传的稿件消耗ugc_first_round消息
#### Version 1.20.3
> 1.将稿件attribute中的第9位作为is_pgc字段
#### Version 1.20.2
> 1.审核流程变更
#### Version 1.20.1
> 1.邮件报备新增 181,177 两个大区支持
#### Version 1.20.0
> 1.去除dede同步逻辑
#### Version 1.19.15
> 1.切换封面消息topic到Bvc2VuSub
#### Version 1.19.14
> 1.添加一审导致稿件禁止时审核消息(first_round_forbid)
#### Version 1.19.13
> 1.添加自动过审、定时发布的消息auto_open、delay_open
#### Version 1.19.12
> 1.修复 异步发送email
#### Version 1.19.11
> 1.异步发送email
#### Version 1.19.10
> 1.恢复passed 逻辑查 archive_oper表判断稿件是否过审
#### Version 1.19.9
> 1.新增水印下载失败导致转码失败的code
#### Version 1.19.8
> 1.调整 passed 逻辑改查 archive_oper 表
#### Version 1.19.7
> 1.archiveState fix forbid bug
#### Version 1.19.6
> 1.dedeSync 直接异步重试,去掉同步执行逻辑
#### Version 1.19.5
> 1.去除APPkey参数
#### Version 1.19.4
> 1.修复待审时点击量打点
> 2.调整进入三查的计算规则
#### Version 1.19.3
> 1.封面地址上传之后直接上传到redis,不需要直接插入到DB后续 rename && drop table
> 2.xcodeSDFinish渣清封面也重构到redis里面获取数据
> 3.评论info日志内去除error文案
#### Version 1.19.2
> 1.添加定时发布三审逻辑
#### Version 1.19.1
> 1.video表更新使用hash64索引
#### Version 1.19.0
> 1.archive_video拆表双写逻辑
#### Version 1.18.0
> 1.task_oper_history迁移
> 2.archive_edit_history/archive_video_edit_history数据清理
#### Version 1.17.1
> 1.报警电话号配置
#### Version 1.17.0
> 1.删除同步result
#### Version 1.16.2
> 1.调整reply check status的错误级别
#### Version 1.16.1
> 1.pgc的result同步
#### Version 1.16.0
> 1.去除所有prepare
> 2.接入prom
#### Version 1.15.9
> 1.为去掉多余封面数据做准备同步封面数据到Redis缓存15天,为创作中心做准备
#### Version 1.15.8
> 1.修复重发first_round消息xcode值错误
#### Version 1.15.7
> 1.bvc通知修复多P、删除等情况
#### Version 1.15.6
> 1.一二审消息bvc通知增加稿件状态判断
#### Version 1.15.5
> 1.是否PGC的判断改为是否番剧
#### Version 1.15.4
> 1.调整bvc通知按cid状态绝对通知
#### Version 1.15.3
> 1.添加如果是付费稿件则不调用bvc逻辑
#### Version 1.15.2
> 1.定时发布调用bvc
> 2.secondRound补加是否pgc的判断
#### Version 1.15.1
> 1.稿件状态变更和评论状态变更操作日志
> 2.稿件评论开关无限重试
> 3.删除延迟发布
> 4.增加视频attribute的搜索禁止聚合到archive表
> 5.去掉二审attribute位的聚合
#### Version 1.15.0
> 1.videoup-job合入大仓库
#### Version 1.14.0
> 1.result库更新时增加forward
#### Version 1.13.0
> 1.私单round列表聚合
#### Version 1.12.0
> 1.聚合attr信息时,同时判断archive的attr
#### Version 1.11.1
> 1.fix sendMessage bug
> 2.fix bvc api log type
#### Version 1.11.0
> 1.一审通过无脑同步result
#### Version 1.10.0
> 1.分发完成时,定时稿件也做同步逻辑
#### Version 1.9.2
> 1.bvc接口三次重试失败后添加到redis队列无限重试
> 2.某cid只要在archive_video表中存在至少一条state为0或10000并且xcode为6的数据即认为此cid可播放
> 3.分发完成非PGC调bvc接口同步cid是否可公开播放情况
#### Version 1.9.1
> 1.bugfix 分发完成如果是pgc的投稿一定同步result
> 2.修改isPGC方法根据aid通过addit表的upfrom字段判断
#### Version 1.9.0
> 1.一审、二审的时候查询cid的审核结果并调用bvc接口通知是否可以播放
> 2.二审提交时针对粉丝大于10万的UP和优质UP主如果有数据修改发邮件通知相应负责人
> 3.分区点击量阈值和待审分区使用新表archive_config
> 4.一级分区使用新表archive_type
> 5.接入log agent
> 6.go-common从v6.11.0更新到v6.17.1
> 7.评论开关判断:如果是修复待审(-6)、用户提交(-30)、用户删除(-100),不调评论接口(保持原状态)
> 8.二审去掉聚合forbidden attribute的逻辑
#### Version 1.8.11
> 1.archive_result在update时,强制更新mtime
#### Version 1.8.10
> 1.second无脑聚合attr
> 2.活动结构json结构修改
#### Version 1.8.9
> 1.调整archive_result库的插入顺序,先video后archive
#### Version 1.8.8
> 1.databus的second_round消息增加reply、send_notify、mission_id字段修改评论和发消息的对应逻辑
> 2.修改二审调用reply接口、发消息、调活动平台接口的逻辑
> 3.修改定时发布调活动平台接口的逻辑
> 4.修复result表videos数量的bug
> 5.增加monitor/ping
#### Version 1.8.7
> 1.addArchive添加判断: 数据库查询archive是否为nil
> 2.databus消息的route判断的前后添加log
#### Version 1.8.6
> 1.任务被up删除如果任务延迟也需要删除
#### Version 1.8.5
> 1.dede_archives_history替换为新表archive_edit_history
> 2.二审过审和延迟发布时,调活动平台接口添加稿件信息
> 3.修改tag接口
#### Version 1.8.4
> 1.定期迁移任务表数据
#### Version 1.8.3
> 1.一审处理reply和tag
#### Version 1.8.2
> 1.增加archive_result结果表同步
#### Version 1.8.1
> 1.second_round增加无脑聚合视频时长的逻辑
#### Version 1.8.0
> 1.task任务分发
#### Version 1.7.3
> 1.增加用户删除稿件时,清理task表的逻辑
#### Version 1.7.2
> 1.增加用户删除视频时,清理task表的逻辑
#### Version 1.7.1
> 1.shot时判断v是否为nil
#### Version 1.7.0
> 1.增加v5.0稿件生态任务分派逻辑
> 2.增加新版配置中心
> 3.稿件封面图走新消息直接落库
> 4.多次收到sd fiinish时 增加first round重发逻辑
> 5.增加插入videoshot的逻辑
> 6.同步老表的dede_arctiny的逻辑
#### Version 1.6.9
> 1.修复删除分P时,视频总时长未更新的bug
#### Version 1.6.8
> 1.修复一审后archive round不变更问题
#### Version 1.6.7
> 1.在synccid之后删除48h判断的filename
#### Version 1.6.6
> 1.删除track无用代码
#### Version 1.6.5
> 1.聚合video的forbidattr到archive中
#### Version 1.6.4
> 1.videoup databus 增加幂等
> 2.round定时99改为1小时的维度
> 3.封面截图3->9张
#### Version 1.6.3
> 1.大于半小时的消息不消费
#### Version 1.6.2
> 1.修复商单state&round驱动(定时发布导致开放时)
#### Version 1.6.1
> 1.修复商单state&round驱动
#### Version 1.6.0
> 1.打开评论增加重试三次的逻辑,3s一次试3次
> 2.增加定时讲过期稿件的round置为end的逻辑
> 3.增加round变更记录
> 4.二审消息同步评论和tag
> 5.分发中的稿件状态置为-1
#### Version 1.5.6
> 1.修改内存缓存顺序
#### Version 1.5.5
> 1.增加round变更日志
#### Version 1.5.4
> 1.分发完成无脑同步
#### Version 1.5.3
> 1.去除灰度用户
#### Version 1.5.2
> 1.修改attr,access,state逻辑
#### Version 1.5.1
> 1.增加回查进入触发回查中间31
#### Version 1.5.0
> 1.二审拆分普通/分区二审、增加分区三审,回查拆分分区/社区
#### Version 1.4.17
> 1.增加delete archive的无脑同步
#### Version 1.4.16
> 1.同步老表去掉转码中和分发中
> 2.评论更改内部url
#### Version 1.4.15
> 1.增加tag调用日志
#### Version 1.4.14
> 1.活动表换成addit
#### Version 1.4.13
> 1.评论接口增加mid
#### Version 1.4.12
> 1.嵌套支持qq/sohu/hunan
#### Version 1.4.11
> 1.去掉一转无脑同步
#### Version 1.4.10
> 1.再次修复分发完成前用户编辑稿件直接过审的bug
> 2.round值修改
#### Version 1.4.9
> 1.修复分发完成前用户编辑稿件直接过审的bug
#### Version 1.4.8
> 1.一审后状态变更同步老表
#### Version 1.4.7
> 1.定时发布再编辑,进待审列表
#### Version 1.4.6
> 1.转载不做同步处理
#### Version 1.4.5
> 1.修复转载来源同步到老desc字段
#### Version 1.4.4
> 1.增加user_delete时同步老表的逻辑
#### Version 1.4.3
> 1.同步到老库进行html转义
#### Version 1.4.2
> 1.一审过审增加同步老表,为审核能预览稿件
> 2.修改第一次不过再次编辑不进待审自动过bug
#### Version 1.4.1
> 1.分P创建已提交稿件也是创建提交
#### Version 1.4.0
> 1.增加addit source状态的同步
> 2.修复history表body信息同步错误
> 3.增加add archive消息
#### Version 1.3.3
> 1.修改回查阈值最大值加3000
#### Version 1.3.2
> 1.删除archive_history表的插入
#### Version 1.3.1
> 1.增加外部源同步
#### Version 1.3.0
> 1.增加定时发布逻辑
> 2.增加同步老表失败重试
> 3.增加recommend逻辑
> 4.增加firstround时的aid判断
#### Version 1.2.6
> 1.update go-common
> 2.merge archive history
#### Version 1.2.5
> 1.增加delay逻辑
#### Version 1.2.4
> 1.删除archive和video的trace
#### Version 1.2.3
> 1.稿件attr的海外禁止定位第5bit
#### Version 1.2.2
> 1.聚合稿件信息时增加mission的判断
> 2.增加filename的redis缓存,供videoup-web使用
> 3.mission 同步错误
#### Version 1.2.1
> 1.修复ptime时间
#### Version 1.2.0
> 1.增加delay逻辑
#### Version 1.1.9
> 1.只有1P的情况下不同步desc字段
#### Version 1.1.8
> 1.增加同步老表的flags属性
##### Version 1.1.7
> 1.修复redis的key前缀
##### Version 1.1.6
> 1.历史记录只有过审添加
##### Version 1.1.5
> 1.archive_history date to timestamp
> 2.dede_archives_history date to timestamp
##### Version 1.1.4
> 1.修复tag同步字段
> 2.增加archive_history记录
##### Version 1.1.3
> 1.完善日志格式
##### Version 1.1.2
> 1.增加消费监控
##### Version 1.1.1
> 1.修复待审状态也同步到老库数据
> 2.修复redis比consumer提前关闭导致的redigo: get on closed pool
##### Version 1.1.0
> 1.增加稿件及视频状态变更记录
##### Version 1.0.2
> 1.PGC稿件不发UGC_X
##### Version 1.0.1
> 1.修复不同步作者昵称到老表问题
##### Version 1.0.0
> 1.初始化重构投稿封面相关job