資訊專欄INFORMATION COLUMN
前幾個月OpenAI大名鼎鼎的Sora 一經(jīng)發(fā)布，似乎象征著視頻領域已經(jīng)進入了生成式 AI 時代。
不過直到今天，我們?nèi)匀粵]有用上OpenAI 的官方視頻生成工具，等不及的人們已經(jīng)開始尋找其他的方法。其中不乏一些國內(nèi)的廠商如快手的可靈等等。
而在近日，一款全新的開源視頻編輯工具 Clapper 引發(fā)了人們的關注。與其他的文生視頻或者文生視頻工具不同，這款工具的設計目的并非取代傳統(tǒng)視頻編輯器，或使用 3D 場景作為輸入的現(xiàn)代 AI 編輯器；其理念是讓任何人都可以通過交互式、迭代和直觀的過程使用 AI 制作視頻，而無需外部工具、電影制作或 AI 工程技能。
Clapper 是一款由 HuggingFace 的 AI 前端工程師 Julian Bilcke 開發(fā)的免費開源可視化 AI 視頻編輯工具。它集成了多種生成式 AI 技術(shù)，讓用戶能夠通過交互式、迭代和直觀的過程來創(chuàng)建視頻，無需掌握專業(yè)的電影制作或 AI 工程技能。
在 Clapper 中，用戶可以通過調(diào)整高級抽象概念（如角色、地點、天氣等）來迭代優(yōu)化故事情節(jié)。而Clapper 的導演模式允許用戶向 AI 發(fā)出指令，從而進行創(chuàng)作電影。這一工具為視頻創(chuàng)作領域提供了一種全新的工作流程和創(chuàng)作方式。Clapper 的作者Julian Bilcke 是 HuggingFace 的一名 AI 前端工程師。他表示，為了向這個方向繼續(xù)努力，他還在開發(fā)導演模式：目標是讓使用者可以全屏播放視頻，舒適地坐在導演椅（或沙發(fā)）上，向 Agent 大喊命令，讓 AI 制作電影。
最近幾天，Julian Bilcke 已經(jīng)上線了使用大模型將任意文本轉(zhuǎn)換為時間線等新功能。而 Clapper 的熱度也水漲船高，在 GitHub 上已經(jīng)擁有超過 1100 的 Star 量。
既然是開源工具，我們主要看的當然是具體好不好用。還記得 AI 大咖 Karpathy 制作 AI 短視頻的經(jīng)歷嗎？為了把《傲慢與偏見》開頭的三句話制作成動畫，他花費了整整一個小時。
雖然只有三句話和三個場景，但整個流程比看起來復雜得多。他先用 Claude 根據(jù)原文生成一系列圖像提示詞，再將這些提示詞輸入文本生成圖像模型，生成相應的圖像，接著使用視頻模型制作動畫，配音則交給了 Elevenlabs，最后在 Veed Studio 中將所有片段整合起來。完成后，Karpathy 在推特上吐槽道：「創(chuàng)業(yè)者們，機會來了！市場上急需一個能夠整合并簡化這些流程的 AI 工具?！?/p>
好巧不巧，Clapper 正是這樣一個集成了所有這些功能的一站式平臺。
通常情況下，要制作一條短視頻，需要經(jīng)歷多個步驟。
首先是構(gòu)思故事和編寫腳本，然后根據(jù)腳本繪制分鏡圖。接下來，根據(jù)分鏡圖進行拍攝或?qū)ふ宜夭?，將這些素材在剪輯軟件中拼接起來，添加動畫效果和特效，最后選擇性地添加口播、背景音樂或音效。
正因為這一流程的復雜性，影視制作行業(yè)中逐漸形成了編導、導演、攝像、剪輯、后期制作、配音等專業(yè)分工。而在 Clapper 中，視頻制作遵循一種全新的邏輯。它的每條軌道不再像 Premier、剪映等傳統(tǒng)剪輯軟件那樣對應視頻或圖片素材，而是對應一個具體的制作環(huán)節(jié)或工種。
在用 AI 做視頻這件事上，我們就是 AI 的甲方，而Clapper 就像一個由業(yè)內(nèi)最強的 AI 組成的劇組。Clapper 內(nèi)置像 GPT-4o，Claude 3.5（Sonnet）等一系列「頂流」大模型。它就像乙方的執(zhí)行導演一樣，負責將你的需求對接給對應的「AI 編導」。
從上面的圖中可以看出，第一條軌道代表著故事版，和 Clapper 內(nèi)置的大模型對話，它將通過 API 調(diào)取文生圖模型，讓 AI 分鏡老師來生成對應的圖片，作為視頻畫面的基礎。
以 Clapper 提供的樣片為例，接下來的軌道依次對應場景、旁白、攝像機視角、背景音樂和音效。你可以使用 ElevenLabs 或 Fal.ai 為這個西部廢土世界的故事生成一些廢墟的風聲或槍戰(zhàn)的爆炸聲。此外，Clapper 還具備一項可能讓「會說話就能拍電影」這一夢想更接近現(xiàn)實的功能。你可以直接將劇本導入 Clapper，并在「故事」部分為你的主人公精心設計角色設定。
然而，盡管 Clapper 的功能充分考慮了視頻制作的需求，其效果卻并不盡如人意。畫面中的人物動作有些“鬼畜”，不符合物理運動規(guī)律。整體視頻效果更像是會動的 PPT，缺乏鏡頭之間的轉(zhuǎn)場和連貫性，配樂有時候也充滿了 AI 的痕跡，旋律感不強，甚至還夾雜著一些雜音?？赡苌墒?AI 想要改變視頻制作的流程，還需要很長時間，但 Clapper 的出現(xiàn)或許能給還在給傳統(tǒng)視頻剪輯軟件拓展 AI 功能的大廠們，提供了一條新的落地思路。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/131151.html
摘要：可預見的未來激情賽事已經(jīng)過半，阿里云視頻技術(shù)在本次世界杯中也成功落地，而這并不是結(jié)局，這是將視頻應用于體育行業(yè)以及更多其他行業(yè)的開端。 本屆世界杯互聯(lián)網(wǎng)直播的順利進行，離不開各大云計算廠商的支持。在這其中，阿里云是當之無愧的C位，除了優(yōu)酷外，阿里云還支撐了CNTV、CCTV5客戶端，為全網(wǎng)70%的世界杯直播流量保駕護航。 對于世界杯這種超大觀看量級、超強影響力的重要體育賽事，阿里云一直...
摘要：就國內(nèi)市場而言，百度云選擇三位一體戰(zhàn)略的時候不乏長遠性思考。百度云將放在位的另一個用意正是在領域樹立差異化優(yōu)勢，并通過等深耕垂直場景。至少就目前來看，百度云已經(jīng)找到了最適合自己的競爭方式。2018年下半年，To B迎來了從未有過的熱度，也把云計算重新捧上了風口浪尖。和幾年前新興業(yè)務的身份不同，處于風暴中心的云計算，早已成為互聯(lián)網(wǎng)巨頭和創(chuàng)業(yè)者們最激烈的戰(zhàn)場，并相繼宣布了醞釀許久的動作。阿里在財...
摘要：百度企業(yè)智能大會現(xiàn)場新一輪搶灘賽將放在位的百度云，自然有著自己的考量。站在百度云的角度而言，云計算進入到綜合實力的較量，恰恰是以己所長攻彼之短的最佳時機。2018年下半年，To B迎來了從未有過的熱度，也把云計算重新捧上了風口浪尖。和幾年前新興業(yè)務的身份不同，處于風暴中心的云計算，早已成為互聯(lián)網(wǎng)巨頭和創(chuàng)業(yè)者們最激烈的戰(zhàn)場，并相繼宣布了醞釀許久的動作。阿里在財報中努力擴大云計算的占比，并視之為...
摘要：不僅如此，倒霉的不只是文科生，根據(jù)劍橋大學的數(shù)據(jù)，目前熱門的工程師居然有的幾率被淘汰，程序員也有接近的幾率被淘汰。 現(xiàn)如今人工智能已經(jīng)在很多方面得到了應用落地，通過手機移動端的一些功能和應用程序，我們已經(jīng)能夠很直觀地感受到它對我們生活的影響。比如蘋果IphoneX的人臉識別功能，包括一些主流app有語音識別和語音對話的功能。 隨著AI時代的移動技術(shù)革新大會開幕鄰近，APICloud創(chuàng)始...
閱讀 77·2024-12-10 11:51
閱讀 275·2024-11-07 17:59
閱讀 276·2024-09-27 16:59
閱讀 447·2024-09-23 10:37
閱讀 483·2024-09-14 16:58
閱讀 318·2024-09-14 16:58
閱讀 476·2024-08-29 18:47
閱讀 752·2024-08-16 14:40
