Claude thức dậy vào đêm khuya ngày 3.5 và học cách bắt chước con người sử dụng máy tính

Nguồn: Xinzhiyuan

Claude 3.5 nhận được bản nâng cấp lớn vào đêm khuya!

Đúng như dự đoán, Anthropic AI cuối cùng đã có một bước tiến lớn trong tuần này - bản phát hành đầu tiên của Claude 3.5 Haiku và phiên bản nâng cấp mới của Claude 3.5 Sonnet cũng có mặt tại đây.

Tuy nhiên, "Cúp siêu lớn" Opus vẫn chưa xuất hiện.

Điều đáng ngạc nhiên là Claude 3.5 Sonnet đã tiến hóa đã đánh bại OpenAI o1 chỉ trong một đòn, khiến nó trở thành mô hình suy luận mạnh nhất.

Nó đã được cải thiện đáng kể về mọi mặt, đặc biệt là khả năng mã hóa hàng đầu trong ngành.

Haiku Claude 3.5 có hiệu suất tương tự như Claude 3 mạnh mẽ nhất thế hệ trước Opus, nhưng chi phí, tốc độ tương tự như Haiku thế hệ trước.

Ngay cả bây giờ, Claude vẫn có thể vận hành máy tính như con người. Anh ấy không chỉ có thể xem màn hình và di chuyển con trỏ mà còn có thể nhấn các nút và gõ văn bản!

Giám đốc quan hệ nhà phát triển tại Anthropic cho biết "sử dụng máy tính" là bước đầu tiên trong mô hình tương tác giữa người và máy tính mới. Đồng thời, đây cũng là khả năng cơ bản mới mà các mô hình AI nên có.

Nhiều công ty khởi nghiệp xây dựng trí thông minh của trình duyệt đã trở nên lỗi thời chỉ sau một đêm.

Cư dân mạng than thở: Đại lý và quy trình làm việc sắp thay đổi...

Bạn có thể tự mình sử dụng AI máy tính không?

Trong phiên bản beta công khai, Anthropic giới thiệu một tính năng mới mang tính đột phá: khả năng sử dụng máy tính. Bắt đầu từ hôm nay, các nhà phát triển có thể sử dụng API để hướng dẫn Claude sử dụng máy tính như con người.

Claude 3.5 Sonnet là mẫu đầu tiên cung cấp tính năng này ở phiên bản beta công khai.

Tất nhiên, tính năng này vẫn đang trong giai đoạn thử nghiệm, hơi vụng về khi sử dụng và có thể gặp trục trặc. Anthropic đã chọn phát hành trước tính năng này để nhận phản hồi từ các nhà phát triển và cải thiện nó nhanh chóng.

Tại sao nên đào tạo AI để vận hành máy tính?

Anthropic cho biết trong vài năm qua, sự phát triển của AI mạnh mẽ đã đạt được nhiều cột mốc quan trọng, chẳng hạn như khả năng thực hiện các suy luận logic phức tạp cũng như khả năng nhận dạng và hiểu hình ảnh.

Điểm đột phá tiếp theo là máy tính vận hành AI! Sẽ là một dấu hiệu của tương lai nếu các mô hình không phải tương tác với các công cụ tùy chỉnh mà được hướng dẫn sử dụng tất cả các phần mềm.

Các thao tác cơ bản trên máy tính

Trong bản demo này, nhà nghiên cứu Nhân chủng học đã đưa ra một thử thách cực kỳ khó khăn cho Claude:

< p>Bạn tôi sắp đến San Francisco và tôi muốn cùng anh ấy ngắm bình minh trên Cầu Cổng Vàng vào sáng mai. Chúng ta sẽ khởi hành từ Cao nguyên Thái Bình Dương. Bạn có thể giúp chúng tôi tìm một địa điểm ngắm cảnh tuyệt vời, kiểm tra thời gian lái xe và thời gian mặt trời mọc cũng như lên lịch sự kiện theo lịch để chúng tôi có đủ thời gian đến đó không?

Claude tự mình mở Google và bắt đầu tìm kiếm.

Cầu Cổng Vàng cách nơi ở của người dùng bao xa? Claude sẽ tự mình mở bản đồ để tìm khoảng cách.

Sau khi hiểu được thông tin cần thiết, nó sẽ mở lịch và sắp xếp cho chủ sở hữu lịch trình.

Tự động mã hóa để viết trang web

Nhà phát triển đã chỉ ra cách Claude điều khiển máy tính xách tay của mình và hoàn thành nhiệm vụ lập trình trang web một cách suôn sẻ.

Đầu tiên, Claude truy cập Claude.ai bằng trình duyệt Chrome của anh trai mình và yêu cầu Claude tạo một trang chủ cá nhân theo chủ đề thập niên 90 cho chính mình.

Tôi thấy nó nhập URL, gõ lời nhắc và đưa ra yêu cầu cho một Claude khác.

Claude.ai đã trả lại một số mã và hình ảnh được hiển thị trông rất đẹp, nhưng Tôi hy vọng có thể thực hiện một số sửa đổi đối với trang web cục bộ trên máy tính của mình.

Vì vậy, anh ấy đã yêu cầu Claude tải tệp xuống và sau đó mở nó trong VS Code. Claude đã hoàn thành thành công những hướng dẫn này.

Sau đó, em trai yêu cầu Claude khởi động một máy chủ và sau đó anh ấy thực sự có thể xem tệp trong trình duyệt.

Claude mở terminal VS Code và thử khởi động máy chủ, nhưng sau đó gặp lỗi: Python chưa được cài đặt trên máy.

Kết quả là, khi nhìn vào đầu ra của thiết bị đầu cuối, Claude đã tự mình phát hiện ra vấn đề! Nó đã thử lại với Python 3 và khởi động máy chủ thành công.

Tuy nhiên, có lỗi ở đầu ra của thiết bị đầu cuối và biểu tượng tệp bị thiếu ở trên cùng. Nhà phát triển đã yêu cầu Claude xác định lỗi này và sửa nó trong tệp.

Thật bất ngờ, Claude đã tìm ra dòng gây ra lỗi trong VS Code, xóa toàn bộ dòng đó, sau đó lưu file và chạy lại trang web.

Lần này, trang web hoàn toàn chính xác!

Tự động tìm kiếm dữ liệu và điền vào biểu mẫu

Giả sử chúng ta cần điền vào biểu mẫu yêu cầu nhà cung cấp từ "Ant Equipment Company", nhưng dữ liệu cái cần điền nằm rải rác ở mọi ngóc ngách của máy tính, Claude có thể giúp chúng tôi hoàn thành nó được không?

Nó bắt đầu chụp ảnh màn hình của anh trai tôi và nhanh chóng phát hiện ra rằng Công ty Thiết bị Ant không có trong bảng.

Lúc này, nó lập tức chuyển sang hệ thống CRM để tìm kiếm công ty này . Khi tìm thấy nó, nó bắt đầu cuộn, tìm kiếm tất cả thông tin cần thiết để điền vào biểu mẫu và sau đó gửi biểu mẫu.

Điều này có nghĩa là nhiều công việc tẻ nhạt mà chúng ta phải làm ở nơi làm việc có thể được giao cho Claude!

Bây giờ, chức năng này đã có sẵn trong API.

Giờ đây, nhiều công ty nổi tiếng như Asana, Canva, Cognition, DoorDash, Replit và The Browser Company đã khám phá tiềm năng mới của Claude, cho phép họ thực hiện các nhiệm vụ phức tạp với hàng chục hoặc thậm chí hàng trăm các bước .

Ví dụ: Replit đang tận dụng khả năng sử dụng máy tính và điều hướng giao diện người dùng của Claude 3.5 Sonnet để phát triển chức năng cho Replit Agent, chức năng này có thể được đánh giá trong thời gian thực khi ứng dụng đang được xây dựng.

Thấp hơn nhiều so với con người nhưng đầy hứa hẹn trong tương lai

Khả năng sử dụng máy tính của Claude 3.5 Sonnet mới nâng cấp là gì?

Trong thử nghiệm OSWorld, nó đạt 14,9% ở hạng mục nhiệm vụ chỉ dựa trên ảnh chụp màn hình, vượt qua đáng kể hệ thống AI xếp thứ hai (7,8%).

Khi được phép thực hiện nhiều bước hơn để hoàn thành nhiệm vụ, điểm của Claude được cải thiện lên 22,0%.

Điều này cho thấy nhiều tương tác giữa mô hình và môi trường có thể tối ưu hóa hiệu suất tác vụ.

Mặc dù kết quả này đã được cải thiện đáng kể so với trước đây nhưng vẫn thấp hơn rất nhiều so với hiệu suất của con người là 72,36%.

Điều này cũng hàm ý rằng Claude 3.5 Sonnet vẫn còn rất nhiều chỗ cần cải thiện trong tương lai.

Xét cho cùng, một số thao tác mà con người thực hiện dễ dàng (cuộn, kéo, Thu phóng) , điều này hiện đang là thách thức cực kỳ lớn đối với Claude.

Phiên bản nâng cấp của Claude 3.5 Sonnet, vua mã hóa đã đánh bại o1

Trong nhiều bài kiểm tra benchmark của ngành, hiệu suất của phiên bản nâng cấp của Claude 3.5 Sonnet đã được cải thiện về mọi mặt.

Đặc biệt, đã có những bước đột phá đáng kể trong nhiệm vụ mã hóa tác nhân và sử dụng công cụ.

Địa chỉ giấy: https:/ // /assets.anthropic.com/m/1cd9d098ac3e6467/origen/Claude-3-Model-Card-October-Addendum.pdf

Về khả năng mã hóa, nó hoạt động từ 33,4 trong băng ghế dự bị SWE Tỷ lệ kiểm tra được xác minh tăng đáng kể lên 49,0%.

Điều này vượt xa tất cả các mô hình có sẵn công khai - bao gồm các mô hình suy luận như OpenAI o1-preview và các hệ thống chuyên dụng được thiết kế để mã hóa tác nhân.

Ngoài ra, trong TAU-bench (đánh giá khả năng sử dụng của tác nhân tool Benchmark Test), Claude 3.5 Sonnet cũng hoạt động tốt:

Điểm số trong lĩnh vực bán lẻ tăng từ 62,6% lên 69,2% và trong thời gian gần đây hơn Lĩnh vực hàng không đầy thách thức đã tăng từ 36,0% lên 46,0%.

Như có thể thấy từ bảng bên dưới Trên bài kiểm tra suy luận GPQA (Diamond), phiên bản mới của Claude 3.5 Sonnet vượt trội đáng kể so với GPT-4o.

Trong QA trực quan, lý luận toán học, Hỏi đáp trực quan về tài liệu, Hỏi đáp biểu đồ, bảng khoa học Trong bài kiểm tra điểm chuẩn, hiệu suất của Claude 3.5 Sonnet đã trở thành một chuẩn mực mới trong ngành.

Điều đáng nói là trong khi phiên bản mới của Claude 3.5 Sonnet có phần trình diễn mang tính đột phá nhưng vẫn duy trì ở mức giá và tốc độ chạy như mẫu trước.

Phản hồi từ một số người dùng thử nghiệm ban đầu xác nhận thêm rằng Claude 3.5 Sonnet nâng cấp đã đạt được bước nhảy vọt "về chất" trong lĩnh vực mã hóa dựa trên AI.

1. GitLab:Trong thử nghiệm nhiệm vụ DevSecOps, người ta nhận thấy rằng Claude 3.5 Sonnet có thể thực hiện suy luận mà không làm tăng độ trễ Khả năng được cải thiện đáng kể (cải thiện tới 10% cho mỗi trường hợp sử dụng), khiến nó trở nên lý tưởng để thúc đẩy các quy trình phát triển phần mềm phức tạp

2. Nhận thức: Tính năng mới. phiên bản Claude 3.5 Sonnet được sử dụng trong đánh giá AI tự động và đã đạt được tiến bộ đáng kể so với các mô hình trước đó về mặt mã hóa, lập kế hoạch và giải quyết vấn đề

3. Trình duyệt Công ty: Khi sử dụng mô hình này để tự động hóa quy trình làm việc trên mạng, người ta nhận thấy Claude 3.5 Sonnet vượt trội hơn tất cả các mô hình mà họ đã thử nghiệm trước đó

Ngoài ra, trước khi triển khai an toàn Claude 3.5 Sonnet đã được Viện An ninh AI Hoa Kỳ (US AISI) và Viện An ninh Anh (UK AISI) cùng thử nghiệm.

Hơn nữa, sau khi tự đánh giá, tiêu chuẩn ASL-2 do Anthorpic thiết lập trong "Chính sách mở rộng có trách nhiệm" vẫn được áp dụng cho mô hình mới.

Như đã đề cập trước đó, phiên bản nâng cấp của Claude 3.5 Sonnet hiện có thể được sử dụng trên các trang web và ứng dụng đầu cuối.

Giá API bắt đầu ở mức3 USD cho mỗi triệu token đầu vào , 15 USD trên một triệu mã thông báo đầu ra.

Tiết kiệm tới 90% chi phí bằng cách sử dụng công nghệ bộ nhớ đệm thông minh và 50% bằng cách sử dụng API hàng loạt.

Kịch bản ứng dụng

Claude 3.5 Sonnet có thể hiểu các hướng dẫn và ngữ cảnh tinh tế, xác định và sửa lỗi của chính nó, đồng thời tạo ra phân tích chuyên sâu từ dữ liệu phức tạp và những hiểu biết sâu sắc. Kết hợp khả năng viết mã, nhận dạng hình ảnh và viết hiện đại, Claude 3.5 Sonnet có thể được sử dụng trong nhiều tình huống khác nhau.

- Mô phỏng hoạt động của con người trên máy tính

Bằng cách tích hợp Claude thông qua API, các nhà phát triển có thể hướng dẫn Claude sử dụng máy tính như con người - bằng cách quan sát màn hình, di chuyển chuột, bấm nút và gõ văn bản. Claude 3.5 Sonnet là mô hình AI tiên tiến đầu tiên có thể sử dụng máy tính theo cách này một cách đáng tin cậy và mặc dù vẫn đang ở giai đoạn thử nghiệm ở phiên bản beta công khai nhưng khả năng của nó sẽ tiếp tục được cải thiện theo thời gian.

- Tạo mã tự động

Claude 3.5 Sonnet có thể hỗ trợ toàn bộ vòng đời phát triển phần mềm - từ thiết kế ban đầu đến sửa lỗi, từ bảo trì hệ thống đến hiệu suất tối ưu hóa. Nó có thể được tích hợp trực tiếp vào sản phẩm hoặc được sử dụng làm trợ lý mã hóa thông minh thông qua nền tảng Claude.ai.

- Hệ thống đối thoại thông minh

Với khả năng suy luận nâng cao và giọng điệu thân thiện, tự nhiên, Claude 3.5 Sonnet lý tưởng cho các nhà phát triển cần kết nối dữ liệu và thực thi xuyên suốt hệ thống Hệ thống hội thoại thông minh khi vận hành.

- Hỏi đáp kiến ​​thức thông minh

Claude 3.5 Sonnet có khả năng xử lý ngữ cảnh quy mô lớn và tỷ lệ ảo giác cực thấp nên lý tưởng cho việc xử lý kiến ​​thức lớn cơ sở và tài liệu Lý tưởng cho các nhiệm vụ Hỏi đáp và cơ sở mã.

- Trích xuất thông tin trực quan

Claude 3.5 Sonnet có thể dễ dàng trích xuất thông tin từ các tài liệu trực quan như biểu đồ, đồ thị và sơ đồ phức tạp - biến nó thành dữ liệu Mô hình AI lý tưởng cho các nhiệm vụ phân tích và khoa học dữ liệu.

- Tự động hóa quy trình

Claude 3.5 Sonnet cho phép tự động hóa các tác vụ hoặc quy trình lặp đi lặp lại. Nó có khả năng thực thi lệnh hàng đầu trong ngành và có thể xử lý các quy trình và hoạt động phức tạp.

Claude 3.5 Haiku mới thông minh hơn người anh em thế hệ trước của nó

Dựa trên tiêu chuẩn của thế hệ trước, Claude 3.5 Haiku có thể được gọi là “chiếc cốc nhỏ nhất”.

Đây là mô hình nhanh nhất của Anthropic.

Nó không chỉ duy trì mức chi phí vận hành và tốc độ xử lý tương tự như Claude 3 Haiku mà còn cải thiện toàn diện các kỹ năng khác nhau.

Thậm chí, trong một số bài kiểm tra điểm chuẩn thông minh, Claude 3.5 Haikuđã vượt trội so với mẫu máy mạnh nhất của thế hệ trước, Claude 3 Opus.

Tương tự, Claude 3.5 Haiku thực hiện đặc biệt tốt các nhiệm vụ viết mã.

Ví dụ: trong bài kiểm tra được xác minh bởi SWE-bench, nó đã đạt được số điểm cao là 40,6%, vượt qua nhiều tác nhân AI sử dụng các mô hình hiện đại được công bố rộng rãi - bao gồm cả phiên bản gốc củaClaude 3.5 Sonnet và GPT-4o.

Claude 3.5 Haiku có ba ưu điểm vượt trội:

< strong>1. Phản hồi có độ trễ thấp

2. Khả năng thực thi lệnh chính xác hơn

3. strong>

Những tính năng này làm cho mô hình đặc biệt phù hợp để phát triển sản phẩm hướng đến người dùng, xử lý tác vụ của đại lý phụ chuyên biệt và tạo dựa trên dữ liệu lớn (chẳng hạn như hồ sơ mua hàng, thông tin về giá hoặc dữ liệu hàng tồn kho) kinh nghiệm.

Vào cuối tháng này, Claude 3.5 Haiku sẽ có mặt trên nhiều nền tảng, bao gồm Anthropic API, Amazon Bedrock và Vertex AI của Google Cloud. (Ban đầu nó sẽ được ra mắt dưới dạng mô hình văn bản thuần túy và chức năng nhập hình ảnh sẽ được thêm vào sau)

Giá của Claude 3.5 Haiku bắt đầu ở mức 0,25 USD trên một triệu mã thông báo đầu vào, mỗi Một triệu mã thông báo đầu ra là 1,25 USD.

Bạn có thể tiết kiệm tới 90% chi phí bằng cách sử dụng công nghệ bộ đệm từ nhanh chóng và 50% chi phí bằng cách sử dụng API gửi tin nhắn theo nhóm.

Kịch bản ứng dụng

Với tốc độ xử lý nhanh, khả năng thực thi lệnh được cải thiện và cách sử dụng công cụ chính xác hơn, Claude 3.5 Haiku rất phù hợp với các sản phẩm hướng đến người dùng, các nhiệm vụ phụ trợ chuyên biệt và tạo ra trải nghiệm cá nhân hóa từ lượng dữ liệu khổng lồ.

- Tự động hoàn thành mã

Claude 3.5 Haiku có thể cung cấp các đề xuất và hoàn thành mã nhanh chóng và chính xác, đẩy nhanh quy trình phát triển một cách hiệu quả. Đặc biệt thích hợp cho các nhóm phát triển phần mềm muốn đơn giản hóa quy trình mã hóa và tăng năng suất.

- Chatbot thông minh

Với khả năng đàm thoại nâng cao và thời gian phản hồi nhanh, Claude 3.5 Haiku thúc đẩy tính năng trò chuyện phản hồi có thể xử lý khối lượng tương tác lớn của người dùng Hiệu suất tuyệt vời trong robot. Nó đặc biệt có giá trị đối với các nền tảng dịch vụ khách hàng, thương mại điện tử và giáo dục đòi hỏi khả năng tương tác có thể mở rộng.

- Trích xuất dữ liệu và chú thích tự động

Claude 3.5 Haiku có thể xử lý và phân loại thông tin một cách hiệu quả và thực hiện tốt các tác vụ trích xuất dữ liệu nhanh và chú thích tự động. Khả năng này đặc biệt hữu ích cho các tổ chức cần xử lý lượng lớn dữ liệu phi cấu trúc về tài chính, y tế và nghiên cứu.

- Kiểm duyệt nội dung theo thời gian thực tự động

Claude 3.5 Haiku cung cấp các dịch vụ kiểm duyệt nội dung tức thời, đáng tin cậy thông qua khả năng lý luận và hiểu nội dung được cải thiện. Điều này cực kỳ có giá trị đối với các nền tảng xã hội, cộng đồng trực tuyến và các tổ chức truyền thông cần duy trì nội dung an toàn, phù hợp trên quy mô lớn.

Cách dạy Claude sử dụng máy tính

Anthropic cho biết các thao tác mà con người có thể dễ dàng thực hiện - cuộn, kéo và thu phóng vẫn còn rất khó khăn đối với Claude.

Đối với các rủi ro như thư rác, thông tin sai lệch và gian lận, các công ty đang tìm kiếm các chiến lược triển khai an toàn, chẳng hạn như phát triển hệ thống nhận dạng để phát hiện xem tác hại có xảy ra hay không.

Quy trình nghiên cứu

Công việc của Anthropic về sử dụng công cụ và đa phương thức đã đặt nền tảng cho việc nhận dạng và giải thích hình ảnh bằng AI.

Trên cơ sở đó, Claude cũng cần suy luận về cách thức và thời điểm thực hiện các hành động dựa trên nội dung màn hình.

Để làm được điều này, các nhà nghiên cứu đã huấn luyện Claude đếm chính xác các pixel để hoàn thành các lệnh, vì nó phải tính xem cần bao nhiêu pixel để di chuyển con trỏ chuột theo chiều dọc hoặc chiều ngang nhằm nhấp vào đúng vị trí.

Trong thời gian này, Claude đã nhanh chóng chuyển đổi thành công việc học của mình từ đào tạo trên các phần mềm đơn giản như máy tính và trình soạn thảo văn bản sang các ứng dụng khác (lưu ý rằng Internet không được phép sử dụng trong thời kỳ này).

Loại đào tạo này cho phép chuyển đổi hướng dẫn người dùng thành một loạt các bước hợp lý để thực hiện các thao tác. Nó thậm chí có thể tự sửa lỗi và thử lại nhiệm vụ khi gặp trở ngại.

Interlude

Alex Albert, giám đốc quan hệ nhà phát triển tại Anthropic, cũng chia sẻ một câu chuyện thú vị về quá trình phát triển các tính năng sử dụng máy tính của nhóm.

Vào thời điểm đó, họ tổ chức bug bash (bug bash) dành cho các kỹ sư để đảm bảo rằng tất cả các vấn đề tiềm ẩn với API đều được phát hiện.

Điều này có nghĩa là nhốt một nhóm kỹ sư trong phòng trong vài giờ.

Lúc đó mọi người đều đói. Một trong những kỹ sư nảy ra ý tưởng: "Hãy để Claude làm một bài tập thực tế và mở DoorDash để gọi đồ ăn cho chúng ta."

Thật bất ngờ, khoảng một phút sau, Claude gọi pizza cho các kỹ sư.

Nhìn về tương lai