FreewingBiz Wing-W Symbol
FREEWINGBIZCharles AI Workspace
AI Film Director:從 Higgsfield Studio HELL GRIND 的 115,000 多次生成研究,建立開放式 AI 電影製作流程

AI Film
Director.

不要每一鏡重新描述世界。
維護世界,編譯鏡頭。

從 Higgsfield Studio《HELL GRIND》的製作研究出發,把角色、空間與連戲狀態,整理成任何 AI Agent 都能理解的電影製作系統。

PRODUCTION STATE同一世界 · 兩個鏡頭
雨夜,倉庫外。示範場景
Identity
LIN · 角色主檔鎖定
Wardrobe
深藍外套 · 雨水浸濕
World state
右手握著鑰匙 · 尚未受傷
GEO / Blocking
倉庫南門外 · 面向入口
Acting / Camera
急促呼吸 · 中景跟拍
COMPILED SHOT PROMPT

沿用 LIN 的角色參考與濕外套狀態。她右手握著鑰匙,從南側接近倉庫入口;呼吸急促,攝影機以中景跟隨。

合成示例:展示狀態如何跨鏡頭延續,並非實際影片或模型輸出。

一個漂亮鏡頭,只是開始。真正的挑戰,是讓第 50 個鏡頭仍然活在第 1 個鏡頭的世界裡。

從 Higgsfield Studio
《HELL GRIND》開始。

《HELL GRIND》
製作工作流研究 / Case study

第一次看到 Higgsfield Studio 公開《HELL GRIND》的製作專案時,我感興趣的不是「他們用了什麼神奇 Prompt?」

一部 AI 長片,到底是怎麼被管理與製作出來的?

於是,我開始研究公開 Project 裡的 Assets、Prompts、Generations,以及角色、場景與道具之間的 Reference 關係。

遍歷子資料夾161
不同 job metadata115,581
非空 Prompt115,444
不同 Prompt 字串7,642
帶有 reference inputs 的 video jobs超過 97%

統計來源:作者提供的 FINAL_REPORT / 04_PROMPT_DATABASE 研究摘要。研究資料與第三方製作素材不包含於公開 Skill 套件。

我原本以為答案是
「更好的 Prompt」。
後來發現,真正需要管理的是世界。

不是一張參考圖。
是一套製作資產。

Characters 是能反覆調用的角色資產。Environments 是有方向、地標、視角與狀態的空間。Props 是能跨鏡頭追蹤的道具。

角色不能突然變臉,上一鏡受的傷不能消失。鏡頭轉到房間另一側,門窗與家具也不能重新長一次。

如果 AI 電影管理的是世界,為什麼每個鏡頭還要重寫一次世界?

AI Film Director 把這些製片原理重新抽象成通用工作流。它不是 Hell Grind Prompt Pack,也不是 Higgsfield 專用工具。

Production State 才是真相。

Prompt 是根據當前製作狀態編譯出來的結果。故事、資產、世界與鏡頭資訊分開管理,生成後再把選用版本的結束狀態傳遞下去。

前期規劃Story → Scenes / Shots

故事節拍、鏡頭拆解、時間預算與穩定 ID。

製作狀態Assets → World State

角色、場景、道具,以及跨鏡頭延續的狀態。

鏡頭編譯GEO → Acting → Camera

空間與走位、可觀察表演、攝影意圖,交給 Prompt Compiler 與 Model Adapter。

生成與剪輯Generation → QC → Edit

記錄版本、檢查實際媒體、選用片段、回寫連戲狀態與剪輯計畫。

角色穿什麼?站在哪裡?看著誰?光從哪裡進來?這些答案存在於 World State,而不是散落在某一條 Prompt 裡。

一致性,
不只是臉不要變。

角色身分與角色狀態分開維護。同一個人可以淋濕、受傷或換裝,仍然保留相同的 Character Identity。

  • Identity角色的固定身分與識別
  • Appearance外觀特徵與參考
  • Wardrobe / State服裝、傷勢、濕度、持有道具
  • Voice / Behavior說話節奏、呼吸、眼神、步伐與壓力反應

同一個世界。
不同模型與 Agent。

核心製作狀態與影片模型分離。模型 Adapter 將標準鏡頭規格,轉成各模型適用的 Prompt、Reference 綁定與執行參數。

Model adapters

Seedance · Veo · Kling
WAN · LTX

套件中的 Adapter 是工作流指引,並非 API 串接契約。實際生成能力取決於平台、模型與 Agent 的可用工具。

Agent integrations

CodexClaudeGeminiGeneric Agent

把下一個故事,
交給製作系統。

AI Film Director 1.0
MIT Licensed · Open Source

下載 Skill 1.0 · ZIP

解壓縮後,將資料夾交給 Agent 作為 Skill、專案指令或持續上下文,從 SKILL.md 開始。

Use AI Film Director. Story: 一名信差在雨夜送出最後一封信。 Characters: LIN,寡言而警覺。 Duration: 30 seconds. Style: 克制、寫實的電影攝影。

沒有生成工具時可產出製作規劃。最終敘事、表演、連戲、聲音與發布,仍需人工審查。

TECHNICAL SPECIFICATION

系統架構與實戰手冊

下載完整套件 ZIP →

核心哲學:不要每一鏡重新描述世界,維護世界,編譯鏡頭

在傳統的 AI 影片生成流程中,創作者通常面臨著「抽卡地獄」:每一次點擊生成,都要在提示詞(Prompt)中塞入大量關於角色長相、服裝細節、環境光線與鏡頭運動的重複文字。然而,一旦影片需要跨越 5 個、20 個甚至 50 個鏡頭,這種方法便會迅速崩潰——角色的臉部特徵隨機漂移、上一秒受傷流血的手臂下一秒完好如初、背景中的建築物門窗位置隨意變換。

AI Film Director 是一套專為解決 AI 影視敘事連戲難題而設計的開源製作工作流。其核心思想源自於對 Higgsfield Studio 公開長片專案《HELL GRIND》超過 115,581 筆生成任務紀錄的深入逆向研究:真正的 AI 電影導演管理的不是「Prompt」,而是「World State」(世界狀態)。Prompt 不過是根據當前製作狀態自動「編譯(Compile)」出來的臨時執行碼。


一、《HELL GRIND》115,581 筆生成數據研究啟示

在剖析《HELL GRIND》的底層工作流中,我們挖掘出幾項關鍵數據事實:

  1. Reference 依賴度高達 97%:在 115,581 個 video generation jobs 中,超過 97% 均綁定了固定的 Character LoRA、Face ID、Depth Map 或上一鏡頭的尾幀(Tail Frame)。純 Text-to-Video 的鏡頭不足 3%。
  2. Prompt 結構高度模組化:115,444 條有效 Prompt 中,核心敘事主體與動作描述具有極高的模板化特徵,變動的僅僅是相機運動軌跡(Camera Vector)與瞬時表情變化。
  3. 分鏡狀態傳遞機制:成功維持跨場景連貫性的關鍵,在於鏡頭之間存在明確的「狀態繼承鏈」——從 Shot A 到 Shot B,繼承的不僅是視覺風格,還包含角色的物理狀態(如雨水浸濕度、衣物破損、持有道具的位置)。

二、系統架構:四階段管線(The 4-Stage Pipeline)

[ 階段 1:前期規劃 ]
Story Beats ──> Scene Breakdown ──> Shot List & Timing ──> Stable Shot IDs
      │
      ▼
[ 階段 2:製作狀態 ]
Asset Library ──> Character Base & Wardrobe ──> Environment Maps ──> World State Ledger
      │
      ▼
[ 階段 3:鏡頭編譯 ]
GEO (空間走位) ──> Acting (可觀察表演) ──> Camera (運鏡與焦距) ──> Prompt Compiler
      │
      ▼
[ 階段 4:生成與連戲 ]
Model Adapters (Kling/Veo/WAN) ──> Generation Ledger ──> QC 檢核 ──> Continuity Pass

1. 前期規劃(Story → Scenes / Shots)

  • 穩定 ID 體系:為每個場景(Scene)與鏡頭(Shot)編配全域唯一的識別碼(如 SC01_SH03)。
  • 時長預算:設定每個鏡頭的時間長度(如 3.5s、5.0s)與節奏韻律,避免無意義的長鏡頭浪費算力。

2. 製作狀態管理(Assets → World State)

  • Character Ledger:區分「身分(Identity)」與「外觀狀態(State)」。
    • 身分:骨骼結構、面部特徵、基本年齡與體型(不可變)。
    • 狀態:當前服裝(Wardrobe)、濕度(Wetness)、傷口(Injury)、持有道具(Carried Props)。
  • Environment Ledger:定義空間的三維坐標參考系、固定地標(如「南門入口」、「鐵梯」)、主光源方向與環境天氣。

3. 鏡頭編譯器(Prompt Compiler)

Prompt Compiler 負責將離散的「世界狀態」與「導演意圖」轉換為特定模型能理解的提示詞:

  • GEO(地理與走位):指明主體在空間中的相對位置(如「距離門口 2 米,背對攝影機 45 度」)。
  • Acting(表演):將抽象的情緒指令(如「感到恐懼」)轉化為物理上可被 AI 視覺模型描繪的可觀察動作(如「瞳孔微縮、雙唇微張、右肩向後微縮、急促胸膛起伏」)。
  • Camera(攝影語彙):嚴格規範鏡頭焦距(28mm / 50mm / 85mm)、機位高度(Low-angle / Eye-level)與運動軌跡(Dolly-in / Tracking / Pan)。

三、Production State 實戰結構示例

以下為 AI Film Director 標準化的 JSON-Schema 定義範例,展示如何跨鏡頭延續連戲狀態:

{
  "production_id": "HELL_GRIND_SAMPLE",
  "current_scene": "SC02_WAREHOUSE_EXT",
  "world_state": {
    "weather": "heavy_rain",
    "ambient_light": "sodium_streetlamp_overhead_0.4_blue_fill",
    "time_of_day": "night_0230"
  },
  "active_characters": {
    "LIN": {
      "identity_ref": "/assets/characters/lin_master_ref.png",
      "wardrobe": "navy_waterproof_jacket_soaked",
      "physical_condition": {
        "facial_bruise_left_cheek": true,
        "wetness_level": 0.85
      },
      "carried_items": {
        "right_hand": "rusty_iron_key",
        "left_hand": "empty"
      }
    }
  },
  "shot_specification": {
    "shot_id": "SC02_SH02",
    "parent_shot_id": "SC02_SH01",
    "geo": "outside_south_gate_facing_entrance_distance_1.5m",
    "camera": {
      "focal_length": "50mm_anamorphic",
      "movement": "slow_dolly_forward_subtle_handheld_shake",
      "framing": "over_the_shoulder_medium_close_up"
    },
    "acting": "stops_movement, breath_condensing_in_cold_air, sharp_turn_look_behind",
    "continuity_checklist": [
      "Key must remain in right hand",
      "Rain runoff dripping from jacket hood",
      "Left cheek bruise visible under sodium light"
    ]
  }
}

四、跨模型適配層(Model Adapters)

AI Film Director 本身獨立於特定 AI 視頻模型(Model-Agnostic)。透過內建的適配層,將標準的鏡頭規格編譯為各主流模型的專用格式:

模型 適配重點 提示詞編譯策略
Kling AI (可靈) 動作物理規律與鏡頭軌跡控制 強調 Camera Movement: [Down 2, Zoom 1] 參數,嚴格拆分主體與環境
Google Veo 電影級構圖、光影色調與材質細節 強調焦段規格(如 35mm Arri Alexa 65)與精準的環境光照描寫
ByteDance Seedance 連戲關鍵幀過渡與姿態保真度 以首尾關鍵幀(First/Last Frame Conditioning)為核心,縮短單鏡頭變異度
WAN / LTX Video 本地端或開源算力部署 著重於 LoRA 權重組合與清晰的 Negative Prompts 消除多餘肢體偽影

五、品質審核(QC)與連戲回寫機制

在生成過程中,並非每次輸出都能完美契合連戲需求。AI Film Director 建立了 5 項嚴格的 QC 檢驗標準:

  1. 特徵保真度(Identity Consistency):面部幾何特徵在旋轉或表情變化時是否變異小於閾值。
  2. 道具守恆律(Prop Conservation):右手持有的鑰匙是否在無放下動作的情況下憑空消失或移交至左手。
  3. 光影空間一致性(Spatial Lighting Vector):主光源(如鈉燈)的陰影方向是否與上一鏡頭保持一致。
  4. 動作向量銜接(Action Vector Alignment):若上一鏡頭以「向右轉身」結束,接續鏡頭不可呈現靜止或反向旋轉。
  5. 材質瞬態物理(Transient Physics):雨水浸濕的衣物紋理與反光率是否隨時間遞增或維持,而非突然乾燥。

經 QC 驗收通過的鏡頭,其最終幀的狀態將被自動回寫至 World State Ledger,成為下一個鏡頭編譯的初始條件。


六、開源資源與快速開始

本系統完全開源於 GitHub,提供完整的規格範本、Prompt 編譯腳本與工作流程指引: