LINE ヤフー、 生成 AI の 評価手法を 解説
LINE ヤフーが生成 AI の出力品質の評価手法を解説しました。 熟練編集者が Gold Data と Rubric を作り評価ロボットを検証します。
LINE ヤフーが生成 AI の出力品質の評価手法を解説しました。 熟練編集者が Gold Data と Rubric を作り評価ロボットを検証します。
Zvi が教育と成績基準をめぐる論考を公開しました。 NAEP の低下は最下位層に集中しています。 大学生の 88% が実際より進歩的な意見を装うと回答しました。
SageMaker HyperPod の管理統制を 4 層で解説します。 組織・プロジェクト・クラスタ・ワークロードで制御します。
Bharat Patel 氏が軍事 AI でデータが難題だと解説しました。 AI-ready なデータは存在せず、用途が求める品質を決めます。 Project Maven では対象を含むデータ不足で性能が出ませんでした。
エージェント型 AI の本番移行は平均 34% にとどまります。 データ分断が知識アクセスの最大の課題で、55% が挙げています。 本番移行率 61% の先行企業は意味理解の能力が高いです。
企業 AI の焦点が予測から自律的な意思決定に移りました。 リアルタイム学習で AI が継続的に更新されます。 非構造化データも予測エンジンの対象に加わりました。
世界の AI 投資は 2026年に 2.5 兆ドルへ達する見通しです。 データの量より AI 対応の可用性が重要だと指摘します。
ストックマークが SIAI でシナリオ体験を提供しました。 参加者は 1時間で未来を予測し行動案を考えました。 研究では情報収集から確率更新までの自動化を目指します。
Amazon Payments がバンディットで転換率を改善しました。 Amazon SageMaker AI 上の文脈付きバンディットを採用しています。 7 週間の A/B テストで最終転換率が 1 桁台後半の相対改善です。
AI は適切な学習を繰り返して初めて活用可能に育ちます。 質の高いデータ、適切な課題設定、答えの検証の 3 つが要ります。 将棋や囲碁は棋譜が大量にあり AI 適用が進みました。
Adrian Sanborn 氏が AI による科学研究の変化を解説しました。 Foundries は実験データ生成を桁違いに高速化します。
DNA 言語モデルは長文脈の推論で高性能な RNA を再現します。 防御側はフロンティアモデルの攻撃能力に追いつけていません。
Epoch AI の JS Denain 氏が RSI と米中の差を議論しました。 OpenAI の Codex 支出は研究者あたり月 2 倍に増えています。 中国モデルの遅れと蒸留の関係も議題です。
SemiAnalysis が MoE 推論の計算とデータ移動を解説しました。 推論は Prefill、Midfill、Decode attention、Decode experts の 4 段階に分かれます。
MIT Technology Review が国境の死者地図を公開しました。 2015年以降の事例を対象に、14 の郡の記録を分析しています。 監視塔の設置場所と死者の位置を突き合わせた初の分析です。
Ai2 の科学エージェントが授業で検証されました。 AutoDiscovery は結果をベイズ驚きで順位付けします。 学生は結果を精査し、真の発見か偶然かを見極めました。
Interconnects がオープンモデル文献リストを公開しました。 基礎・米中競争・安全性などの章で構成されています。 リストは 9月15日に最終更新されています。
PFN が AI agent によるコンパイラ開発を進めています。詳しくは出典へ。
中国のロボット企業が実世界データの不足に直面しています。 ロボット頭脳企業へ 634 億元が投資されました。 Open X-Embodiment の実機データは 1,150〜2,000時間分です。
Microsoft が AI インフラの新指標「歩留まり」を提唱しました。 エージェント型タスクはチャットの 3,400 倍超の Token を使います。 AI の世界普及率は労働人口の 18% にとどまります。
Ai2 が AI 支援科学の課題を議論しました。 科学者の判断を組み込む難しさが指摘されました。 AI は研究設計の欠陥を増幅し得るとの見方です。
ABEJA が手の動きを 3D 復元するモデルを自作しました。 手の形の誤差は 17〜19mm、手首の位置は 80〜95mm です。 出力はロボット学習用の LeRobotDataset v3.0 です。
LINE ヤフーが商品パトロールの AI 活用事例を公開しました。 審査効率は AI フィルターで約 26 倍に向上しました。 人が全件を最終確認する限り業務時間は大きく減りません。
筆者が LLM wiki を構築し作業環境を再構築しました。 Karpathy の投稿をきっかけに個人知識基盤の手法が広がりました。 Raycast と Capacities は継続利用し Notion の検索はやめました。